أصبح تحسين نظرية العقل (Theory of Mind) أمراً محورياً في تطوير نماذج اللغة الضخمة (LLMs) القادرة على التفاعل بشكل أفضل مع البشر. على الرغم من الجهود السابقة في تقييم هذه القدرات عبر أسئلة متعددة الخيارات أو قصص مقروءة، غالباً ما تغفل هذه الطرق الطبيعة الديناميكية والتفاعلية للعلاقات بين البشر والذكاء الاصطناعي.

في خطوة جديدة نحو فهم كيف تسهم تقنيات تحسين نظرية العقل في تحسين هذه التفاعلات، اقترح الباحثون نموذجاً جديداً للتقييم التفاعلي ينطوي على تبني وجهات نظر متعددة وقياسات مختلفة. من خلال هذه المقاربة، أجروا دراسة منهجية على أربع تقنيات بارزة لتعزيز قدرة نظرية العقل، مستخدمين مجموعات بيانات حقيقية ودراسة مستخدمين عكست التوجهين: المهام الموجهة نحو الهدف مثل البرمجة والرياضيات، والمهام المرتكزة على التجربة مثل الاستشارات.

وكشفت النتائج أن التحسينات التي تظفر بها النماذج في الاختبارات الثابتة لا تعكس دائماً أداءً أفضل في التفاعلات الديناميكية مع البشر. تقدم هذه الدراسة رؤى حاسمة حول تقييم نظرية العقل، مما يبرز ضرورة اعتماد تقييمات مبنية على التفاعل لتطوير نماذج لغة اجتماعية الواعية للبشرية، والتي تعكس التعاون المثمر بين البشر والذكاء الاصطناعي.