في عالم الذكاء الاصطناعي، تعتبر طرق قياس عدم اليقين (Uncertainty Quantification - UQ) جزءاً أساسياً من تطوير نماذج اللغة (Language Models) القادرة على فهم السياقات المتعددة. تقليدياً، تُقيم هذه الطرق بناءً على مخرجات إجابة واحدة، حيث يُحدد عدم اليقين المرتبط بإجابة واحدة مولدة. ولكن كيف يؤثر ذلك عند التعامل مع نماذج اللغات الكبيرة (Large Language Models - LLMs) التي تعمل في تفاعلات متعددة؟

في هذا السياق، طُرح تساؤلٌ حول ما إذا كانت الأساليب الثلاثة الشائعة لقياس عدم اليقين التي تُستخدم في الإجابات المفردة قادرة على الانتقال إلى البيئة التفاعلية التي يتفاعل فيها النموذج مع المستخدم. تمت الدراسة باستخدام خمسة نماذج للغات وأربعة مجموعات بيانات من BFCL-v4 و $ au^2$-bench.

تشمل الطرق التي تم تقييمها: أساليب الاسكور الأبيض (White-box scorers) المعتمدة على احتمالات الرموز، وأساليب اسكور الصندوق الأسود (Black-box scorers) المعتمدة على إعادة تشكيل المسارات، ومقاييس التقييم الذاتي النموذجي (Reflexive scorers). وقد أظهرت النتائج أن انتقال الأساليب من السياق الفردي إلى التفاعلي غالبًا ما يكون مفيدًا، لكنه غير متساوٍ.

بعض النتائج البارزة تضمنت حساسية درجات احتمالية الرموز للاختيار الذي تم استخدامه عبر التفاعلات المختلفة، حيث قدمت الدرجات الاستباقية (Reflexive scores) أفضل معيار منخفض التكلفة في معظم السيناريوهات. كما أثبتت أساليب الصندوق الأسود ذاتية الاتساق (Self-consistency) أنها الأقوى بشكل عام، مع تفضيل التناسق بين المسارات والاختلافات الإجرائية.

هذه النتائج تسلط الضوء على ضرورة إعادة تقييم طرق قياس عدم اليقين التي تم تطويرها للإجابات المفردة، مع التركيز على قياسات الاتساق، واختيار المجمعات، وميزانية الحوسبة. إن فهم هذه الديناميكيات يمكن أن يكون له تأثير كبير على كيفية تطوير الذكاء الاصطناعي في المستقبل، مما يدفع نحو تحسين اتخاذ القرارات في السيناريوهات المعقدة.