في وقت تتزايد فيه الاعتماد على النماذج اللغوية الكبيرة (Large Language Models) في الأسواق الناطقة بالعربية، أثبتت دراسة جديدة وجود فجوات كبيرة في منهجيات التقييم المعمول بها حالياً. فبينما تعطي المؤشرات التقليدية الأولوية للغة العربية الفصحى، فإنها تغفل كفاءة اللهجات المحلية ومكوناتها الثقافية، مما يؤدي إلى تقييمات قد تكون غير دقيقة.

في إطار هذا الإطار، يقدم الباحثون معايير تقييم مبنية على 31 سؤالاً مصاغة من قبل خبراء، تشمل جوانب متعددة من اللغة مثل العبارات الاصطلاحية والسياقات الاجتماعية. يتم تقييم أربعة من أبرز الأنظمة الحالية، وهي Claude Opus 5 وGemini 3.7 وGPT-5.6 وKimi K3، باستخدام منهجيتين: الأولى تعتمد على المعايير العامة المستندة إلى الحقائق، والثانية تركز على الأداء الفعلي للأنظمة.

كشفت النتائج عن معدل أداء متوسط يتراوح بين 42.7% و53.1% لجميع النماذج، حيث لم يكن أي نموذج يتجاوز 55%، وأظهر كل نظام على الأقل نموذجاً واحداً سجل نتائج سلبية. يعتبر فشل النماذج بسبب "الإطار الغامض" الأكثر شيوعاً، بينما يشير الفشل في تقديم معلومات خاطئة إلى وجود مشاكل في تحويل السياقات الثقافية.

ولتعزيز هذا البحث، تم الإفراج عن مجموعة الأسئلة الكاملة والمعايير لمنح فرصة لإعادة تقييم كفاءة اللهجة بشكل شامل، مما يسلط الضوء على أهمية النظر في الجوانب الثقافية عند تطوير هذه النماذج. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.