مع تزايد تكامل نماذج اللغة الكبرى (Large Language Models) في اتخاذ القرارات ذات المخاطر العالية، أصبحت القدرة على قياس عدم اليقين بشكل موثوق ضرورة حاسمة لضمان السلامة والثقة. ومع ذلك، فإن الأساليب الحالية لتقييم عدم اليقين تعمل غالبًا على مستوى المخرجات، مما يؤدي إلى صعوبة في التمييز بين عدم اليقين الناجم عن نقص المعرفة في النموذج أو الغموض في مدخلات المستخدم.

لقد ظهر مؤخرًا مفهوم تقييم عدم اليقين المدخلاتي كوجهة واعدة، ولكنه لا يزال غير مستكشف بما فيه الكفاية وغالبًا ما يعتمد على معلومات ضبابية ودقيقة. نتيجةً لذلك، تُقدم للمستخدمين درجات عدم يقين عامة لا توفر إرشادات واضحة حول أي أجزاء من المدخلات تحتاج إلى توضيح.

لمعالجة هذه النقطة، نقترح إطار عمل جديد يُعرف بـ "تحديد عدم اليقين المدخلاتي المُستند إلى شابل (ShaQ)"، والذي يتعامل مع عدم اليقين الناتج عن المدخلات على مستوى الأجزاء. يقوم إطارنا بتصوير الأجزاء الغامضة من المدخلات كلاعبين في لعبة تعاونية ويقيس مساهماتهم باستخدام قيم شابل. تُحدد قيم شابل من خلال المتوسط المرجح للتقليل الهامشي في الإنتروبي الشرطي للحصول على كل مجموعة من الأجزاء.

وعلى عكس الأساليب الحالية، فإن منهجيتنا تلتقط التفاعلات المعقدة بين الأجزاء وتقدم تحليلًا صارمًا حيث تكتمل النسب الفردية بالضبط مع إجمالي عدم اليقين الناتج عن المدخلات.

تم تقييم "ShaQ" على معيارَي "AmbigQA" و"AmbiEnt"، حيث حقق أداءً رائدًا في اكتشاف الغموض. كما أظهرنا أيضًا فائدته على "MediTOD"، مما يدلل على أن "ShaQ" يمكن أن يحدد العبارات السريرية غير المحددة بشكل كافٍ ويساعد في تعزيز التعاون بين الإنسان والذكاء الاصطناعي في البيئات الحساسة.

بشكل عام، يُحسن "ShaQ" تقدير عدم اليقين ويقدم رؤى قابلة للتنفيذ لتوضيح المدخلات المستهدفة، مما يسهم في تعزيز فعالية هذه النماذج في مجالات تتطلب دقة وسلامة عالية.