في عالم الذكاء الاصطناعي المتطور، يُعتبر تقييم نظرية العقل (Theory of Mind) في نماذج اللغة الكبيرة (Large Language Models) موضوعًا مثيرًا للجدل. حيث قدمت الأبحاث السابقة اختبارات تعتمد على مهام تقليدية، مثل مهمة سالي-آن، لكن هذه الاختبارات قد تكون مهددة بسبب وجود تشابهات مع مهام أخرى قد تمت ممارستها خلال فترة التدريب.

لذا، قدم الباحثون اختبارًا جديدًا يعرف باسم "اختبار الشيلينغ المعرفي غير المتناظر" (Epistemic Asymmetry Schelling Task - EAST). هذا الاختبار مصمم كحوار بين لاعبين، يهدف إلى تقييم قدرات نماذج اللغة الكبيرة في تنسيق الأفكار بشكل عام. يتطلب من نماذج LLM العمل معًا للتوصل إلى نقاط شيلينغ الدلالية في ظل حالات透明ية معرفية مختلفة.

تشير النتائج إلى وجود فجوة كبيرة في القدرات الاجتماعية الفعالة، حيث تمكنت نماذج قليلة فقط من المواجهة بكفاءة مع التحديات المعرفية المتنوعة. كما كشف التحليل عن مشكلات في تتبع المعرفة، مما يؤدي إلى فشل التنسيق، كما أشارت النتائج إلى أن الأداء الجيد على الاختبارات التقليدية لا يعني بالضرورة فهمًا عميقًا لعمليات التفكير الاجتماعي.

يظهر هذا البحث الحاجة الملحة لمزيد من التحسينات في مهارات الاستدلال الاجتماعي وتدابير تقييم نماذج اللغة الكبيرة، مما يوجه أنظار الباحثين نحو أهداف حيوية لمستقبل تطوير هذه النماذج.