في خطوة مثيرة نحو تحسين تقييم العدالة في نماذج اللغات الضخمة (Large Language Models)، يبرز بحث جديد أهمية مراجعة أساليبنا الحالية في قياس هذه المعايير. فقد باتت معايير مثل BBQ يُنظر إليها على أنها المعيار القياسي لتقييم مدى العدالة في النماذج الرئيسية.

لكن، ماذا لو أخبرتك أن نموذجًا واحدًا فقط يمكن أن يُحدث فرقًا هائلًا؟ أظهرت تجارب فريق البحث أن تدريب نموذج Qwen 2.5 7B Base باستخدام أسلوب تحسين السياسات النسبية للمجموعات (Group Relative Policy Optimization - GRPO) على مثال واحد من BBQ قد رفع دقة النموذج من 79.9% إلى 92.9%، وزادت إلى 99.0% عند استخدام نموذج التعلم السياقي (In-context Learning - ICL). وبذلك، أغلق الفريق ما يزيد عن 80% من الفجوة مع نظيره كبير النطاق في التعلم المعزز مع التغذية الراجعة البشرية (RLHF) الذي حقق 96.1%.

تظهر هذه النتائج أن تأثير التحسين عمومًا ينطبق على مجموعة واسعة من عائلات النماذج، مما يشير إلى أن تحسين التفكير والردود الناتجة عن النموذج يمكن أن يكون محمولًا على مجموعة صغيرة من الأمثلة.

ومع ذلك، فإن الباحثين يُشيرون إلى أن معايير الامتناع متعددة الاختيارات على نمط BBQ تقوم بقياس cue هيكلي واحد، مما لا يعكس fairness بشكل حقيقي. لذا، يدعون إلى تطوير تقييمات تغطي طيفًا أوسع من توازن العدالة في النماذج.

تعتبر هذه النتائج دعوة لإعادة التفكير في السبل التي تتبعها المجتمعات البحثية لتقييم العدالة في الذكاء الاصطناعي. هل نحن مستعدون لتقبل النماذج الجديدة التي تعكس قيمًا أعمق وأكثر عدالة؟
ما رأيكم في هذا التطور؟ شاركونا في التعليقات.