ابتكار جديد في نماذج اللغات: تجنب الأخطاء عن طريق انتظار التنبؤ!

في عالم الذكاء الاصطناعي، يحظى تطوير نماذج اللغات الضخمة (Large Language Models) باهتمام كبير، حيث تتطور استراتيجيات التدريب بشكل مستمر لتلبية احتياجات استخدامات متعددة. أحدث هذه التطورات هو أسلوب "اختيار اللوحة الواعية بالتنبؤ" (Predictability-Aware Canvas Selection) المعروف اختصارًا بـ PACS.

تعمل نماذج الانحدار اللغوي (Diffusion Language Models) على توفير قدرة مرنة لتوليد النصوص بشكل متوازي من خلال تحليل رموز النص بناءً على التنبؤات المتطورة للنموذج بدلاً من ترتيب ثابت من اليسار إلى اليمين، مما يفسح المجال لتحقيق نتائج أفضل. لكن، إن هذه المرونة تحمل تحديات جديدة في خيارات التدريب التي لم تكن عادة موجودة في التدريب التقليدي.

تظهر الأبحاث الحديثة أن المفاضلة العشوائية بين رموز الإشراف يمكن أن تؤدي إلى توجيه الإشراف بشكل غير دقيق، حيث يمكن أن تخفي هذه العمليات الأخطاء في التنبؤ أو تعاقب عدم اليقين الذي يمكن حله أثناء عملية الفهم. التقنية التقليدية للتعليم تحت إشراف (Supervised Fine-Tuning) تعتمد على أسلوب يسمح بالاختيار العشوائي للمدخلات، وهو ما يمكن أن يؤثر سلبًا على فهم النموذج.

لتجاوز هذه العقبة، يقترح الفريق أسلوب PACS الذي يعتمد على تنبؤ النموذج ذاته لاختيار طول المدخلات المرئية أثناء كل مثال، ويُشرف على الرموز المرجعية قبل الكشف عنها لضمان أعلى درجات الإشراف المنضبط.

لقد أظهرت النتائج التجريبية أن PACS حققت أعلى دقة متوسطة بين أساليب التعليم تحت الإشراف المماثلة، حيث زادت الدقة حتى 12.84 نقطة مئوية مقارنة بأساليب التعليم التقليدية في مختلف مجالات اختبار التفكير وإنتاج الشيفرات.

الأكواد الخاصة بهذه التقنية ستنشر عند إصدارها بشكل رسمي، مما يبشر بمستقبل واعد لنماذج اللغة مع تحسين دقتها واستجابتها لمتطلبات العديد من التطبيقات.