اعتبروا أنكم مخطئون: كيف يمكن أن تخفي التقييمات المتسقة الأخطاء الكبرى في نتائج الذكاء الاصطناعي؟

في دراسة جديدة نشرت على منصة arXiv، تم اختبار فرضية مهمة تتعلق بأساليب التقييم الخالية من التسميات، مثل تصفية الاتساق الذاتي، وتجميع أصوات الأغلبية.

هذه الأساليب تعتمد على افتراض ضمني مفاده أن الاتساق يمكن أن يعمل كبديل للصحّة عندما تكون التسميات الحقيقية غير متاحة أو مكلفة. ولكن ما توصل إليه الباحثون كان مفاجئاً: حوالي 60% من الإجابات الخاطئة تظهر في نطاق عالي الاتساق، حيث بلغ الاتساق 0.8 أو أكثر.

عند فحص البيانات الناتجة عن أربع مجموعات بيانات مالية تتعلق بالأسئلة والأجوبة - سواء كانت متعددة الخيارات أو حرة الشكل - ودراسة عشرة أبعاد للاتساق، بالإضافة إلى استخدام عائلتين من نماذج متقدمة، كانت النتيجة مذهلة. فقد أظهرت الدراسة أن 77.7% من تلك الإجابات الخاطئة كانت متطابقة عبر كافة التحورات.

هذا ما يعني أن الأساليب الحالية التقديرية تعتمد على توازن التكاليف وقد تخفي الأخطاء الكبرى. فهل يعتبر هذا النهج في التقييم فعّالاً، أم أنه يمثل مشكلة أساسية لا يمكن تجاهلها في التطورات المستقبلية؟

نهاية الدراسة، التي اعتمدت على عدة معايير، تشير إلى ضرورة إعادة النظر في الطرق المتبعة في تقييم قدرات أنظمة الذكاء الاصطناعي، خاصةً عندما يتعلق الأمر باستخدام إشارات مستندة إلى التوافق بدلاً من التسميات البشرية.

ما رأيكم في هذا الاكتشاف المثير؟ شاركونا أفكاركم في التعليقات!