في عالم الذكاء الاصطناعي، شهدت نماذج اللغات الضخمة (LLMs) تطورات مذهلة ساهمت في تحقيق نتائج رائدة في تطبيقات متعددة. يُعتبر التخصيص (Fine-tuning) خطوة حيوية لتكييف هذه النماذج مع المهام المحددة، حيث يتطلب عادةً تدريبًا إضافيًا على مجموعات بيانات خاصة. ومع ذلك، تظهر فجوة أساسية بين مجموعات البيانات المستخدمة حاليًا وآلية تحسين النموذج على مستوى الرموز.

تُصمم معظم مجموعات البيانات على مستوى الجمل، مما يؤدي إلى إدخال ضوضاء على مستوى الرموز، ما يؤثر سلبًا على الأداء النهائي. لذلك، اقترحت دراسة حديثة تحت عنوان "إطار تصفية الضوضاء على مستوى الرموز القابل للتفسير (XTF)"، والذي يقدم حلاً مبتكرًا للتعامل مع هذه المشكلة.

يقوم إطار عمل XTF بتحليل المساهمات المعقدة والدقيقة للبيانات على مستوى الرموز في عملية التخصيص إلى ثلاثة خصائص واضحة: أهمية التفكير، وحداثة المعرفة، وارتباط المهمة. يمكن تقييم هذه الخصائص باستخدام أساليب التقييم، ثم يتم حجب التدرجات للرموز المزعجة بحيث يُمكن تحسين أداء نماذج LLM التي تخضع للتخصيص.

أجرت الدراسة تجارب مكثفة على ثلاث مهام تمثل أبرز الاستخدامات، وهي الرياضيات، والبرمجة، والطب، عبر سبعة نماذج LLM شائعة. أكدت النتائج أن استخدام إطار XTF يمكن أن يحسن الأداء في المهام المختلفة بنسبة تصل إلى 13.7% مقارنةً بطرق التخصيص التقليدية.

تُبرز هذه الدراسة أهمية تحسين مجموعة بيانات على مستوى الرموز، مما يفتح آفاقًا جديدة لفهم آليات التدريب المعقدة وتطبيق استراتيجيات قائمة على تحليل الخصائص لتحسين الأداء.