في عالم الذكاء الاصطناعي المتسارع، يأتي إعلان EvalMORAAL كخطوة ثورية نحو تحقيق توافق أخلاقي مع القيم الإنسانية. يعتمد EvalMORAAL على إطار عمل مصمم بعناية لتقديم تقييمات أخلاقية دقيقة لنماذج اللغة الضخمة (Large Language Models) عبر أساليب تقييم مبتكرة. باستخدام طريقتين للتقييم؛ احتمالات التسجيل (log-probabilities) وتقييمات مباشرة، بالإضافة إلى مراجعة متبادلة من نموذج كحكم (model-as-judge) - يتمكن الفريق من تقييم توافق 20 نموذجاً على أساس استطلاعات القيم العالمية (World Values Survey) ومواقف عالمية من PEW.

تظهر النتائج أن النماذج الأفضل أداءً تتوافق بشكل كبير مع إجابات الاستطلاع، حيث بلغت نسبة الارتباط (Pearson's r) حوالي 0.90. ومع ذلك، يكشف التحليل عن وجود فجوة إقليمية ملحوظة: إذ حققت النماذج في المناطق الغربية معدل ارتباط يقدر بـ 0.82، بينما سجلت المناطق غير الغربية 0.61، مما يعكس فجوة مطردة بمقدار 0.21.

يشمل إطار EvalMORAAL ثلاثة عناصر رئيسية: أولاً، طريقتين للتقييم لكافة النماذج لتسهيل المقارنة العادلة. ثانياً، بروتوكول هيكلي لتفكير متسلسل مع عمليات تحقق ذاتية. ثالثاً، مراجعة من نموذج كحكم تسلط الضوء على 348 تضارباً باستخدام عتبة مدفوعة بالبيانات. ترابط اتفاق المراجعات مع توافق استجابة استطلاع القيم العالمية يشير إلى فائدة تكنولوجيا التحقق الأوتوماتيكي ذات الجودة العالية.

هذه النتائج تمثل تقدماً حقيقياً نحو الذكاء الاصطناعي المدرك ثقافياً، ولكنها أيضاً تبرز التحديات المفتوحة اللازمة لتحقيق الاستخدام الأمثل عبر المناطق المختلفة. كيف يمكن لنماذج الذكاء الاصطناعي أن تشير وتحترم القيم الثقافية المتنوعة؟