تعتبر نماذج اللغة الكبيرة (Large Language Models - LLMs) من أهم الابتكارات في مجال الذكاء الاصطناعي، حيث تقدم أداءً مذهلاً في العديد من المهام. ومع ذلك، يظل أحد التحديات الكبرى هو عدم اليقين في نتائجها، حيث قد تحتوي بعض المخرجات على أخطاء أو ما يعرف بـ "الهلوسة". لذا، أصبح تقدير عدم اليقين (Uncertainty Estimation - UE) ضرورة ملحة لبناء نماذج موثوقة يمكن الاعتماد عليها في سياقات عديدة.

مشكلة عدم اليقين تتعقد عند التعامل مع نماذج محجوبة خلف واجهات برمجة التطبيقات (APIs) المقيدة، حيث تكون الإشارات الداخلية كالسجلات (logits) والحالات الخفية (hidden states) غير متاحة. في هذه الدراسة، نقوم بتقديم مراجعة منهجية حول أساليب تقدير عدم اليقين في مثل هذه النماذج، مجمعين إياها في خمس فئات رئيسية:

1. أساليب مبنية على التعبير (Verbalization-based methods)
2. أساليب مبنية على العينات (Sampling-based methods)
3. أساليب مبنية على التفسير (Explanation-based methods)
4. أساليب متعددة الوكلاء (Multi-agent methods)
5. أساليب هجينة (Hybrid methods)

لقد وضعنا إطارًا موحدًا للتقييم واعتبرنا 24 طريقة تمثيلية على أربعة نماذج مختلفة وأربعة أنواع من مجموعات البيانات. وقد أظهرت النتائج أن لا طريقة واحدة تتفوق بشكل مستمر عبر جميع الإعدادات. لكن، كان من المؤكد أن الأساليب التي تعتمد على المفاضلة بين الخيارات في فضاء الإجابات كانت فعالة بشكل عام. بالإضافة إلى ذلك، كانت الأساليب الهجينة التي تجمع بين عدة إشارات لعدم اليقين تحقق أداءً جيدًا في غالبية الظروف.

من خلال نشر بيانات التقييم وإطار العمل الموحد، نسعى إلى تسهيل المقارنات القابلة للتكرار ودعم الأبحاث المستقبلية، بينما تقدم نتائجنا الإرشادات العملية لتطوير أساليب تقدير عدم اليقين في نماذج اللغة الكبيرة.

ما رأيكم في أهمية تقدير عدم اليقين في نماذج اللغة الكبيرة؟ شاركونا في التعليقات.