في عالم يتزايد فيه استخدام الذكاء الاصطناعي (AI) في كافة مجالات الحياة، تبرز أهمية الكفاءة الثقافية لهذه النماذج. وفي هذا السياق، تم تقديم إطار CCBENCH، الذي يعد خطوة رائدة في تقييم مدى قدرة النماذج على فهم القيم الثقافية المختلفة للمستخدمين.

ما هو CCBENCH؟
CCBENCH هو إطار عمل يهدف إلى تقييم الكفاءة الثقافية لنماذج اللغة الكبيرة (Large Language Models)، حيث يتم التعامل مع الثقافة من منظور مجموعة من حالات التوافق مع القيم، بدلاً من اعتبارها فقط كحالة ثنائية.

في دراسة حالة تركز على الصحة، تم تطوير CCBENCH-Health الذي يتضمن 60 شخصية مصممة نظريًا، تمثل ثقافات متعددة وتظهر اختلافات في الالتزام بالقيم الثقافية. يتم تقييم كل شخصية من خلال 52 سؤالًا في مجال الرعاية الصحية مستمد من منتديات حقيقية، مما يؤدي إلى 3,120 تفاعلًا فريدًا.

تكشف النتائج أن النماذج الرائدة تحقق استجابات ملائمة ثقافيًا بنسبة تتراوح بين 20-30% فقط. وعند توجيه النماذج للتركيز على الإشارات الثقافية في تاريخ المحادثة، تتحسن الأداء بنسبة 3-5% بشكل متواضع.

تظهر الدراسات أيضًا أن النماذج تحقق أداءً أفضل عندما تتجنب الالتزام بالقيم الثقافية بدلاً من اتباعها، مما يكشف عن تفضيل النماذج للتماشي مع التحيزات المدمجة بدلاً من التكيف مع الإشارات الثقافية.

خلاصة القول، أظهر البحث أن النماذج أحيانًا تتكيف بشكل أفضل مع الأساليب الحواريّة الثقافية الضمنية أكثر من الممارسات الثقافية المعلنة، لكن هذه الملاحظات تختلف عبر الثقافات.

كيف يمكن لتحسين الكفاءة الثقافية أن يؤثر على تجربة المستخدم في التطبيقات المختلفة؟
ما رأيكم في هذا التطور؟ شاركونا في التعليقات!