تُعد دراسة تقدير عدم اليقين (Uncertainty Estimation - UE) من الدراسات الرائدة في مجال النماذج اللغوية الكبيرة (Large Language Models - LLMs)، حيث تتيح لهذه الأنظمة التعرف على متى يجب عليها الامتناع عن إعطاء إجابة. لكن، حتى الآن، كان التركيز الأكبر على الأداء باللغة الإنجليزية فقط.

نقدم اليوم أول تقييم شامل لمناهج تقدير عدم اليقين عبر 22 لغة، تغطي مجموعة واسعة من الموارد عالية ومتوسطة ومنخفضة المستوى. باستخدام مجموعتين من الأسئلة والأجوبة التي تم تنسيقها يدويًا، نقوم بمقارنة تسعة مناهج لتقدير عدم اليقين، مفتوحة ومغلقة، عبر أحجام وأشكال مختلفة من النماذج، مستندين إلى أساليب تفكير طويلة المدى، بعيدًا عن استخدام النماذج اللغوية كشاهد والاعتماد على التقييمات المبنية على التضمين، والتي قد تضيف ضجيجًا في التقييم.

تشير النتائج التي توصلنا إليها إلى ثلاث ملاحظات رئيسية. أولاً، نجد أن مطالبة النماذج بالتفكير باللغة الإنجليزية بينما تبقى الأسئلة بلغة ذات موارد منخفضة تُحسن بصورة كبيرة أداء تقدير عدم اليقين، مما يدل على أن الفهم للغات ذات الموارد المنخفضة ما زال متواجدًا بشكل كبير، وأن الزجاجة التي تحد من الاعتمادية تكمن في عملية التوليد وليس الفهم.

ثانيًا، يؤدي التفكير باللغة الإنجليزية إلى تقليص الفجوة في أداء تقدير عدم اليقين بين اللغات ذات الموارد المنخفضة والعالية، مما يظهر أن لغة التوليد لها تأثير أكبر من لغة السؤال. أخيرًا، يجب أن يعتمد اختيار طريقة تقدير عدم اليقين على حجم النموذج: في النماذج الصغيرة، تتفوق الطرق المعتمدة على الاحتمالات المفتوحة على البدائل؛ بينما في النماذج الكبيرة، تصبح طرق تقدير عدم اليقين ذاتية التعبير المغلقة هي الأفضل.

نقدم أيضًا تحليلاً لاختيار العتبة للتنبؤ الانتقائي، مما يوفر إرشادات حول كيفية معايرة الامتناع في البيئات متعددة اللغات.

ماذا يعني هذا بالنسبة لتكنولوجيا النماذج اللغوية؟ شاركونا آراءكم في التعليقات.