يُعدّ تحليل الفجوات في دقة نماذج اللغات المتعددة (mLLMs) موضوعًا شائقًا يتطلب تفكيك الأبعاد المختلفة لنوعية الأداء عبر اللغات. في دراسة جديدة نشرت على arXiv، تم الكشف عن أن هذه الفجوات ليست مجرد ضوضاء في العينة، بل هي ظواهر نظامية تعكس biases أساسية.

الشركة التي تعمل على هذا البحث استهدفت أولاً فهم الفجوات في الأداء بين اللغات باستخدام اختبارات غير قائمة على التوزيع، مثل اختبارات فريدمان وكروسكال-والي. وأظهر الباحثون أن الخصائص الملحوظة للغة (مثل الكتابة، العائلة، والمسافة النمطية) تساهم significativamente في الأداء، حيث يوضح R² اللغوي 79% من تباين الأداء في مهام الفهم و92% في مهام الاستدلال.

اكتشفت الدراسة أيضًا أن خصائص النموذج الداخلية، وتحديدًا تشابهها التمثيلي مع اللغة الإنجليزية، كان لها تأثير حاسم عبر كلا النوعين من المهام. ومن خلال تحليل شامل لأداء النموذج على مستوى كل من النموذج، المؤشر، واللغة، توصل الباحثون إلى أن هوية النموذج تفوق في تأثيرها على مهام الفهم، بينما يتفوق تفاعل المؤشر والنموذج على مهام الاستدلال.

توفر هذه النتائج إطارًا تشخيصيًا واضحًا للتعامل مع الفجوات بين اللغات، ما يمكّن الممارسين من استهداف الأسباب الجذرية لهذه التباينات بدلاً من الاكتفاء برسم الخريطة لأدائها الفعلي.