في رحلة البحث عن تحسينات الذكاء الاصطناعي، أثبتت نماذج اللغات الكبيرة (Large Language Models - LLMs) قدرتها على الإجابة عن أسئلة مفتوحة ومعقدة. ولكن مع استخدام هذه النماذج في مجالات تتطلب دقة عالية مثل اتخاذ القرارات الأوروبية، تكشفت جوانب جديدة تدعو للقلق.

في دراسة شاملة تم استثمار أكثر من 4,000 ساعة من تقييم خبراء حقيقيين، تم اختبار ستة نماذج لغوية رائدة باستخدام معيار جديد طورناه يُعرف باسم "EuroExec". هذا المعيار يتكون من 413 مهمة طويلة الأجل تتعلق باتخاذ القرار التنفيذي في أوروبا، وقد صاغها 47 خبيرًا مؤهلًا من مجالاتهم.

كل إجابة تم تقييمها بعناية باستخدام نظام فحص متعدد الصفات. ولدهشتهم، تبيّن أن أفضل نموذج لغوي استطاع حل 56.9٪ فقط من المهام المطلوب تنفيذها. بالمقارنة، كانت الإجابات المرجعية المكتوبة من قبل الخبراء قد حققت نتائج قريبة من المستوى المثالي، مع تفضيلها على ردود النماذج اللغوية بنسبة 74٪ في التقييمات المباشرة.

تشير النتائج إلى أن النماذج اللغوية الحديثة، رغم تطورها، لا تزال قاصرة عن تلبية المعايير المهنية المطلوبة. وقد أظهرت الدراسة أن التقييمات البشرية تؤدي دورًا حاسمًا في تحديد فعالية هذه النماذج، جنبا إلى جنب مع تحليلات إحصائية دقيقة. في النهاية، رسخت هذه الدراسة أهمية المحلفين البشريين في تقييم العمل الذكي الاصطناعي، خصوصًا في المهام ذات الطبيعة المفتوحة والموضوعية.