التناقض في إشارات الثقة: كيف تؤثر على نماذج اللغات الذاتية التوليد؟

في عالم الذكاء الاصطناعي وتحديداً في أنظمة التنبؤ الحديثة، تبرز الحاجة إلى فهم كيفية قياس الثقة عند اتخاذ قرارات بشأن الموثوقية. فالدراسة الجديدة التي تم نشرها على arXiv، تتناول مسألة "التناقض في إشارات الثقة" عند استخدام نماذج اللغات الذاتية التوليد (Autoregressive Language Models).

تظهر الدراسة أن الإشارات المختلفة للثقة، مثل الثقة المحلية (Local Confidence) المستخلصة من احتمالية اختيار رمز الإجابة الجشع، والثقة العالمية (Global Confidence) المستمدة من تكرار الإجابة المثالية أثناء عمليات العينة المتكررة، لا تعتبر متبادلة. وقد تم التأكيد على ذلك من خلال مقارنة العلاقتين في سِمَات الأداء عبر مقياسي MMLU وARC Challenge، وجاءت النتائج لتوضح أن الثقة العالمية ترتبط ارتباطاً معتدلاً بالصواب، بينما تبين أن الثقة المحلية تظهر قليلاً من الروابط.

أثيرت تساؤلات حول عدم توافق إشارات الثقة بين الأسئلة، حيث أظهرت الظروف أن الفجوة بين الثقة المحلية والعالمية لها ارتباط أكبر بالانتروبيا، مما يعني زيادة في تباين الإجابات المستحثة. في حين أظهرت نتائج مقياس MMLU أن 4% فقط من الأسئلة كانت تظهر عدم استقرار في العينات.

تستنتج الدراسة أن اعتمادًا على إشارات الثقة واحدها فقط، قد يكون مضللاً، ومن الضروري اعتبار قياسات الثقة وحدات منفصلة بدلاً من كونها خاصية واحدة للنموذج. يعد هذا نتيجة هامة لتحسين عمليات تقييم النماذج وتقليل المخاطر المصاحبة للقرارات المأخوذة بناءً على البيانات غير المستقرة.