في عالم الذكاء الاصطناعي، تزداد التعقيدات مع تطور الأنظمة الذاتية التحسين، إلا أن هناك مشكلة محورية تثير الجدل. فبينما يتم الاعتماد على نماذج اللغات الضخمة (Large Language Models) كمقياس لمستوى التحسين، يتضح أنها ليست موثوقة كما يُعتقد. تنطوي هذه المشكلة على استخدام قاضٍ، يعتمد على نموذج لغوي، ليقوم بتقييم تقدم النظام، وهو الأمر الذي يحتاج إلى مراجعة.

المشكلة تكمن في أن هذا القاضي يملك الكلمة الأخيرة حول ما إذا كان النظام قد أحرز تقدماً. وتشير الأبحاث إلى ضرورة تقليل دور القاضي من كونه حكماً مطلقاً إلى مستشار يعرض آرائه كمدخل ضمن العديد من المعايير.

عبر بنائها لنموذج بديل وإجراء تجارب في مجالات تحليل العقود ومراجعة الامتثال وجودة الشفرة، تمكن الباحثون من تحديد إحدى عشرة طريقة أصاب فيها تقييم القاضي الفشل، مُتضمنة تحيزات القاضي، فشل أدوات القياس، أخطاء في الحقائق الأساسية، وتلاعب في المكافآت.

الاستنتاج الأهم هنا هو ضرورة وجود مستوى تحقق حاسم يضمن الدقة، ويعزز أمان الأنظمة الذاتية التحسين. وقد تم تقديم نموذج جديد يسمى PROCTOR، والذي ينطوي على حلقة المعلم-الطالب حيث يحتفظ المنظم بكل الوصول إلى الأدوات.

يمكن اعتبار هذه النتائج بمثابة دعوة لتحسين كيفية تقييم الأنظمة الذكية. مع ظهور قدرات الذكاء الاصطناعي، يجب علينا النظر في كيفية ولوج هذه الأنظمة بطرق أكثر أماناً وموثوقية. فما رأيكم في هذا التطور؟ شاركونا في التعليقات.