في عالم الذكاء الاصطناعي، حيث تُستخدم نماذج اللغة الكبيرة (Large Language Models) بشكل متزايد في مهام يومية متعددة، يظهر التحدي الكبير في كيفية فهم هذه الأنظمة للأبعاد الثقافية. فالأخطاء الثقافية ليست مجرد عدم دقة في المعلومات، بل هي سياقات واعتبارات تتطلب احساسًا عميقًا بالأعراف الثقافية. اليوم، نكشف عن معيار JuICE (Benchmark for LLM-Judge in Identifying Cultural Errors)، الذي يأتي كخطوة رئيسية لتقييم قدرة نماذج اللغة الكبيرة على التعرف على الأخطاء الثقافية.

يضم JuICE مجموعة بيانات متعددة اللغات تتضمن 7,470 ملاحظات حول الأخطاء الثقافية واللغوية في استجابات نماذج اللغة الطويلة. تغطي هذه البيانات 1,050 زوج من الأسئلة والأجوبة من أربع دول، تشمل الولايات المتحدة وكوريا الجنوبية وإندونيسيا وبنغلاديش، باللغتين الإنجليزية واللغات المحلية.

هل يعكس محتوى هذه النماذج واقع الثقافات المحلية؟ النتائج تشير إلى ضرورة التحول من مجرد التحقق السطحي للأخطاء إلى تقييم أكثر عمقًا يهدف إلى فهم الأمور الثقافية المتنوعة. وفي الواقع، أظهرت التحليلات أن حتى أفضل نماذج القضاة لم تحقق سوى نتيجة F1 تبلغ 0.52 في مهام الكشف عن الأخطاء، حيث تفوت هذه النماذج الأخطاء الثقافية الغامضة التي يستطيع السكان المحليون التعرف عليها بسهولة.

إن هذا التحدي يعكس الحاجة الملحة لتطوير نماذج الذكاء الاصطناعي التي تستند إلى فهم شامل وعميق للثقافات وأبعادها، مما يعزز من دقة وجودة الاستجابات المقدمة. يعد هذا التطور خطوة مهمة نحو تحسين تجارب المستخدمين وتحقيق تفاعل أفضل مع التقنيات الحديثة.