في خطوة رائدة نحو تحسين تقييم التفكير المجازي، قدم فريق من الباحثين نظام ADAGE (Analogical Difficulty-by-design Assessment for Grounded Evaluation) الثوري. يعتمد هذا النظام على تصميم يحرر تقييم المهارات العقلية من قيود اللغة، وذلك من خلال معايير خالية من الترجمة، تتيح تقييم الأداء الثقافي للأجهزة الذكية.

غالبًا ما كان تقييم التفكير المتعدد اللغات يعتمد على ترجمة المعايير الإنجليزية، مما يؤدي إلى ظهور تحيزات لغوية ويعوق اختبار قدرة الأفراد على التفكير المجازي في سياقاتهم الثقافية. لكن مع ADAGE، يتم دمج جهود الناطقين الأصليين مع تقنيات الجيل المدعومة بنماذج اللغات الضخمة (Large Language Models) لإنشاء معايير صعبة تُحاكي التفكير المجازي.

تطبيق ADAGE تم تجربته في ثلاثة لغات مختلفة هي العربية، الأمهرية، واليابانية. ومن خلال تقييم 14 نموذجاً مفتوح الوزن، وجدت الدراسة فجوة ثقافية ملحوظة في النتائج. النماذج التي أظهرت أداءً جيدًا في التفكير المجازي الإنجليزي واجهت صعوبة كبيرة عند تقييمها مع المعايير الجديدة، حيث تراجعت دقتها بمتوسط يتراوح بين 12 إلى 52 نقطة مئوية مقارنة بالتقييم الإنجليزي.

مع إطلاق نظام ADAGE، تم نشر جميع المعايير الثلاثة، بالإضافة إلى مجموعة التقييم الكاملة، مما يمنح الفرصة للباحثين والمطورين للاستفادة من هذا الابتكار في تطوير تكنولوجيا الذكاء الاصطناعي وتحسين فهمه للثقافات المختلفة.