تتطور نماذج اللغة الكبيرة (LLMs) باستمرار، مما يجعلها تتفوق على الإصدارات السابقة بمعدلات جماعية مرتفعة. لكن رغم ذلك، تكشف النتائج أن هذه المكاسب الجماعية ليست دلالة كافية على الأداء الفردي للنماذج. فالتحديث الجديد قد يؤدي إلى حالة من التدهور عند مستوى العينة، حيث تصبح استجابة صحيحة بموجب النموذج القديم غير صحيحة تحت النموذج الجديد.

في ورقة بحثية جديدة تم نشرها على منصة arXiv، تم استكشاف كيف يمكن توقع مثل هذه التراجعات من خلال الإشارات المتاحة أثناء مرحلة الاستنتاج. تمت مقارنة عدة معايير مثل الثقة، الحد الهامشي، والانتروبيا الانتباهية ضد إشارات من نسخ مختلفة مثل تباين KL، انحراف الاحتمالية، وتباين التمثيل خلال اختبار شامل يحدد قيمة كل إشارة.

أظهرت النتائج أن فعالية الإشارات تعتمد على المهام: فالثقة كانت الأقوى في الإجابات متعددة الخيارات والأسئلة الرياضية البسيطة، بينما كانت إشارات KL والاحتمالية تحقق المكاسب الأكثر تكرارًا في الرياضيات الأكثر تعقيدًا وتوليد الكود.

الأكثر تعقيدًا هو أنه لم تظهر أي إشارة تجمع تفوقًا عالميًا عبر تحديثات النموذج. ومع ذلك، بعض الإشارات من النسخ المختلفة تظل موثوقة حتى عندما تفشل الثقة، مما يدعم مفهوماً تجريبيًا يُسمى "العودة الانتقائية" الذي يعيد توجيه عينات عالية المخاطر إلى النموذج القديم.

للخبراء، يمكن استخدام الأنماط المستندة إلى المهام لاختيار الإشارة المناسبة التي يجب الاعتماد عليها في ظل تحديثات جديدة للنماذج. للمزيد من التفاصيل، يمكنكم زيارة الرابط: كود الدراسة.

ما رأيكم في هذه النتائج المثيرة حول نماذج اللغة الكبيرة؟ شاركونا أفكاركم في التعليقات.