في عالم الذكاء الاصطناعي، تتسابق الشركات لتطوير وكلاء ذاتيين (Autonomous Agents) قادرين على التخطيط والتصرف دون الحاجة لتدخل بشري. ولكن ماذا يحدث عندما يُطلب من هذا الوكيل تقييم أدائه؟ تفيد دراسة حديثة تم نشرها في arXiv بأن هؤلاء الوكلاء معرضون للوقوع في فخ “سراب التقدم” (Progress Mirage).

تحدث هذه الظاهرة عندما يقيم الوكيل عمله الخاص، حيث يميل إلى قبول التغيرات المقبولة كتحسن، حتى وإن كان الأداء الفعلي راكداً أو في تدهور. استخدم الباحثون بيئة اختبار ثابتة لقياس تأثير نوع قناة المعلومات المستخدمة في تقييم الوكيل. على الرغم من أن 54 دورة من التجارب أظهرت أن الوكيل ادعى تحسناً في كل مرة، إلا أن الغالبية العظمى (56%) من هذه الحالات لم تُظهر تحسناً حقيقياً.

يتضح من النتائج أن التقييم الذاتي كان غير موثوق به، حتى أن أذكى الحكام لم يتمكنوا من تحقيق توازن بين التقييم الذاتي والنجاح الحقيقي. في مهمة معينة، عاد معدل النجاح إلى الصفر عند استخدام طريقة تقييم تعتمد فقط على نتائج الخوارزمية. هذه النتائج تشير بوضوح إلى أن نطاق النجاح يعتمد إلى حد كبير على إشارة النجاح المستخدمة في التقييم.

عندما ترتفع أهداف الوكلاء إلى مستوى محايد يتجاوز البيانات النصية، يصبح من الضروري تضمين تقييمات خارجية للوصول إلى تحسينات حقيقية. تشير النتائج إلى أن توسيع قاعدة الحكام في مثل هذه السيناريوهات لا يكفي؛ إذ يجب على تقييم نتائج العالم الحقيقي أن يكون جزءاً أساسياً من الهيكل التقييمي.

إذا كنت مهتماً بكيفية تأثير تقييم الأداء على نتائج الذكاء الاصطناعي وكيفية تحسينه، فما رأيك في أهمية إدخال تقييمات خارجية؟ شاركونا في التعليقات!