هل التفكير يُحسّن أداء نماذج الذكاء الاصطناعي كحكام؟ دراسة شاملة تكشف السر!

في وقت يزداد فيه استخدام نماذج اللغات الضخمة (Large Language Models) كقضاة آليين في تقييم الأداء ونمذجة المكافآت، تصبح أهمية ضمان موثوقية هذه النماذج وكفاءتها ومرونتها أكثر بروزاً. في الدراسة الجديدة، نعرض مقارنة منهجية بين نماذج اللغات الضخمة المعتمدة على 'التفكير' وتلك التي لا تعتمد عليه، مستخدمين نماذج Qwen 3 مفتوحة المصدر ذات الأحجام الصغيرة (0.6B، 1.7B، و4B من المعاملات).

قمنا بتقييم كل من الدقة والكفاءة الحاسوبية (FLOPs) على مهام RewardBench، كما قمنا بدراسة استراتيجيات تعزيز النماذج غير المفكرة، التي تشمل التعلم السياقي، والتقييم المبني على المعايير، وتقنيات التقييم المعتمدة على المراجع، وتجمع النتائج.

أظهرت نتائجنا أنه رغم هذه التعزيزات، فإن النماذج غير المفكرة غالبًا ما تُظهر أداءً أقل مقارنةً بنظيراتها المفكرة. حيث حققت النماذج المفكرة دقة أعلى بحوالي 10% مع تكلفة إضافية بسيطة (أقل من الضعف)، بينما كانت استراتيجيات التعزيز مثل التعلم بعدد قليل من الأمثلة تقدم مكاسب متوسطة بتكاليف أعلى (أكثر من 8 أضعاف).

كما تظهر التحليلات فيما يتعلق بالتحيز والمرونة أن النماذج المفكرة تحتفظ بتوافق كبير في ظل مجموعة متنوعة من ظروف التحيز مثل التحيز المتعلق بالموقع، والامتثال، والهوية، والتنوع، والصدفة (بمتوسط أعلى يبلغ 6%).

لقد قمنا أيضًا بتوسيع تجاربنا لتشمل البيئات متعددة اللغات، وأثبتت نتائجنا أن التفكير الواضح يمتد بفوائده إلى ما هو أبعد من اللغة الإنجليزية. تظهر نتائج هذا العمل أهمية وجود أدلة منهجية على أن التفكير الواضح يقدم مزايا واضحة في نموذج LLM-as-a-judge، ليس فقط من ناحية الدقة والكفاءة، بل أيضًا من حيث المرونة.