في عالم سريع التطور للذكاء الاصطناعي، أصبحت نماذج الذكاء الاصطناعي مثل (LLM-as-a-Judge) تستخدم على نطاق واسع لتصنيف مخرجات النماذج، تدريب نماذج المكافآت، وتعبئة قوائم المتصدرين العامة. لكن ما مدى موثوقية هذه النماذج؟

في دراسة جديدة، تم تحليل موثوقية نماذج OpenAI القاضية (GPT-4o-mini و GPT-4.1-mini)، حيث شملت مجموعة من 29 مهمة تغطي 10 فئات. تم إجراء 50 تجربة مقارنة و50 تجربة نقطية لكل سؤال، مع إجراء تعديلات على درجة الحرارة وسرعة الاستجابة. وقد أظهرت النتائج أن تفضيلات القضاة تتغير في المتوسط بنسبة 13.6%، حيث تجاوزت 28% من الأسئلة معدل تغيير يتخطى 20%، ووصل أحد الأسئلة إلى 56%.

أظهر النموذج GPT-4o-mini أيضاً انحيازاً ملحوظاً حيث قدم 72% من القرارات لصالح الأغلبية. ومع ذلك، كانت الفجوة بين النتائج النقطية صغيرة جداً (من 0.19 إلى 0.36 على مقياس من 10 نقاط) ولم تكن ذات دلالة إحصائية، مما يشير إلى أن القضاة يختارون فائزاً حتى عندما لا تقدم نتائجهم دليلاً كافياً على تباين الجودة.

تظهر التحليلات أنه في البيانات التي تم تحليلها، هناك حاجة إلى 11 تجربة متكررة لاستعادة قرار الأغلبية بدقة تبلغ 95%، في حين يرتفع الرقم إلى 15 للأسئلة ذات التباين العالي. وتشير هذه النتائج إلى أن استخدام نموذج قاضي واحد في التجارب غالبًا ما يكون مضطربًا للغاية للتقييمات الكبيرة، مما يستدعي استخدام الأساليب متعددة التجارب وتعرض عدم اليقين كمعايير قياسية.

في ختام هذه الدراسة، يُعتبر تكرار التجارب عبر مزودي الخدمات خطوة هامة للحد من عدم اليقين وزيادة دقة التقييمات. فكيف تؤثر هذه النتائج على استخدام نماذج الذكاء الاصطناعي في المستقبل؟

هل تعتقد أن اعتماد مثل هذه النماذج يحتاج لمزيد من التحسين؟ شاركونا آرائكم في التعليقات.