في عالم الذكاء الاصطناعي، تعتبر نماذج اللغة الضخمة (LLMs) من الأدوات الرائدة، لكن لديها نقطة ضعف تتمثل في "الهلاوس"، حيث تنتج معلومات غير مدعومة بالبيانات المدخلة أو التدريب، مما يعيق استخدامها بشكل موثوق. لتحقيق ذلك، تم اقتراح العديد من طرق تقدير عدم اليقين (Uncertainty Estimation)، التي تهدف إلى قياس ثقة النموذج، وغالبًا ما تعتقد هذه الطرق أنها تمثل مؤشرات عن فشل النموذج.

ومع ذلك، لا تزال العلاقة بين عدم اليقين والهلاوس غير موصوفة بشكل كافٍ، مما دفع الباحثين لإجراء دراسة منهجية تتناول هذه المسألة. حيث قدمت الدراسة تحليلًا تجريبيًا يؤكد على العلاقة بين مقاييس عدم اليقين والهلاوس في نماذج اللغة الضخمة.

بدلاً من الافتراض حول هذه العلاقة، قام الباحثون بتقييم وقت ومدى استمراريتها. حيث تم فحص مجموعة متنوعة من مقاييس عدم اليقين، بما في ذلك مقاييس تعتمد على المعلومات، وأخرى تعتمد على العينات، والأخرى الانعكاسية. وتضمنت التجارب تقييما للهلاوس الداخلية (الانتهاكات في استمرارية المدخلات) والخارجية (المطالب غير المدعومة بالنسبة لبيانات التدريب) من خلال أربع معايير مكملة مثل RAGTruth وHalluLens.

ولقد أظهرت النتائج أن العلاقة بين مقاييس عدم اليقين والهلاوس متغيرة للغاية وغالبًا ما تكون ضعيفة، مما يعتمد على نوع الهلاوس ونوع نموذج اللغة الضخم المفحوص. هذه النتائج تتطلب إعادة التفكير في استعمال عدم اليقين كمؤشر مباشر للهلاوس، وتوضح الفترات التي توفر فيها هذه المقاييس معلومات فعلية يمكن الاستفادة منها.