إعادة التفكير في نماذج المكافآت لتوسيع الاختبارات عبر مجالات متعددة

في إطار البحث المستمر لتحسين النماذج اللغوية الكبيرة (LLMs)، يتناول هذا المقال إعادة التفكير في نماذج المكافآت المستخدمة أثناء توسيع الاختبارات عبر مجالات متعددة. يُعرف أن موثوقية هذه النماذج تُقاس غالبًا بواسطة ​​"المحققين الخارجيين" أو "نماذج المكافآت" التي تميز بين التفكير الصحيح والمنطق الخاطئ. في هذا السياق، تم دراسة نوعين من نماذج المكافآت:

1. نماذج المكافآت الناتجة عن المخرجات (Outcome Reward Models - ORMs) التي تقيم فقط الإجابة النهائية.
2. نماذج المكافآت الناتجة عن العمليات (Process Reward Models - PRMs) التي تسجل خطوات التفكير الوسيطة.

على الرغم من أن نماذج PRMs تعتبر في أغلب الأحيان مفيدة بسبب الإشراف الأكثر تفصيلًا، إلا أن الأبحاث السابقة تدعم هذا فقط في بيئات مرتبطة بالرياضيات، مما يثير تساؤلات حول فوائدها الحقيقية عبر مجالات أوسع.

في هذه الدراسة، نقدم أول تقييم موحد لأربعة متغيرات من نماذج المكافآت: نموذج dORM وPRM التمييزي (discriminative) ونموذج gORM وgPRM التوليدي. على عكس الحكمة التقليدية، وجدت النتائج أن:
(i) أداء dORM يضاهي أداء dPRM،
(ii) gPRM غير منافس،
(iii) إجمالًا، gORM هو الأكثر قوة، حيث يحقق مكاسب كبيرة ومتسقة عبر جميع المجالات المختبرة.

تشير النتائج إلى أن الأداء الأسوأ لـ gPRM يعود إلى عملية التسجيل خطوة بخطوة، التي ترث ضوضاء التصنيف من التوسيم التلقائي المعتمد على LLMs، مما يؤدي إلى صعوبات في تقييم مسارات التفكير الطويلة. كل من التحليل النظري والملاحظات التجريبية تشير إلى أن التجميع خطوة بخطوة يُعقد الأخطاء مع زيادة طول التفكير.

هذه النتائج تتحدى الافتراض الشائع بأن الإشراف الدقيق دائمًا ما يكون أفضل، وتدعم التحقق من النتائج التوليدية للنشر عبر مجالات متعددة. يمكن الوصول إلى الكود الخاص بنا عبر الرابط المرفق أعلاه لدعم الأبحاث المستقبلية في مجال النشر المتعدد المجالات.