هل يمكن لنموذج الذكاء الاصطناعي أن يحكم بموضوعية؟ دراسة تكشف المفاجآت!

في عالم الذكاء الاصطناعي، تتزايد المخاوف حول موثوقية نماذج التقييم (Evaluation Models) التي تقوم بتقدير أداء الأنظمة الأخرى. تكشف دراسة مدهشة منشورة على موقع arXiv تحت الرقم arXiv:2609.00088v1 جوانب مثيرة للجدل حول كيفية تأثير الأخطاء البشرية على قرارات نماذج الذكاء الاصطناعي.

تمتاز هذه الدراسة بفهمها لتحليل "الحكم المتعلق بالالتزام أولاً" (Commit-First Judging)، وهو منهجية تسعى لتقليل التلاعب من خلال مطالبة الحكم بحل المشكلة مسبقًا، قبل تقييم أي نموذج خارجي. ورغم أن هذا الأسلوب يبدو واعدًا، إلا أن الدراسة وجدت أن 24 من أصل 8 تكوينات في أنظمة التقييم الشهيرة لم تطبق هذا النوع من الحكم.

تعين تعزيز الضوابط الحالية، خاصة أن العديد من النماذج تستخدم أساليب غير فعالة وقد تحمل أخطاء نصية في إعدادها. وعندما جرت الاختبارات باستخدام استراتيجيات بحث معينة، أظهرت أن الحكم التقليدي يقبل 90 من أصل 96 مرشحًَا في جولة معينة، ولكن عندما تم تبني الحكم المتعلق بالالتزام، انخفضت نسبة القبول إلى صفر.

تعتبر هذه النتائج مثيرة للنقاش، حيث أن منهجية الحكم المتعلق بالالتزام لا تزيل تأثير الخطأ، بل تنقله إلى إجابة الحكم نفسه، مما يجعل جودة التقييم تعتمد بشكل كبير على كفاءة الحكم في أداء المهمة. التقييمات فقط جيدة بقدر ما هو جيد القاضي! فهل سيكون بإمكاننا تحسين هذا النظام؟

تعتبر النتائج دليلاً على أهمية تطوير تقنيات جديدة وممارسات صارمة في تصميم نماذج الذكاء الاصطناعي لتحقيق التقييم العادل والدقيق.