التقنيات الحديثة تكشف أسرار الثقة في نماذج اللغة الكبيرة!

في عالم الذكاء الاصطناعي، تعد الثقة في النماذج اللغوية الكبيرة (Large Language Models) أمراً حاسماً لضمان موثوقية إجاباتها. حيث يسلط بحث حديث الضوء على مفهوم الثقة، ويبحث في كيفية تقييمها من خلال احتمال صحة الأجوبة المقدمة. التقليد المتبع حتى الآن كان يقوم على قياس دقة النتائج ومدى توافقها مع المعايير الخاصة بها، لكن ما الذي تمثله إشارة الثقة بحد ذاتها؟

يمكن أن تعكس هذه الإشارات متغير قرار خفي كافٍ لحساب الثقة القانونية أو حتى إشارة تفضيل تتضمن الأدلة المتاحة بطرق غير بايزية. في هذا السياق، قام الباحثون بالاعتماد على إطار عمل يُسمى الثقة في القرار الإحصائي (Statistical Decision Confidence)، وهو نموذج يعكس كيفية اتخاذ القرارات في العلوم العصبية الحاسوبية.

أظهرت النتائج أن الفرق بين نتائج الإجابة (Answer-logit Difference) يقيس متغير القرار الخفي، حيث تم اختبار التوقيعات النوعية المتوقعة من إطار العمل عبر ثلاث مهام تمييز حسّي ومهمة تعتمد على الذاكرة. في كل مهمة، أظهرت نتائج JD توافقاً مع هذه التوقيعات، مما يدل على أن نتائج الإجابة تعمل كقراءات أحادية لمتغير القرار الخفي بدلاً من أن تكون مجرد درجات تفضيل.

علاوة على ذلك، في مجال التفكير المرئي المعقد، استمرت نتائج JD في التنبؤ بصحة الإجابات بعد صعوبة المهمة، ولكن توقيعات الإطار الكامل لم تكن متاحة، مما يُظهر الحدود الحالية للإطار عندما تكون نماذج عمليات القوانين الواضحة غير متوفرة.

هذه النتائج تقدم تفسيراً حسابياً لمفهوم الثقة في النماذج اللغوية متعددة الوسائط، وتوضح متى يمكن اعتبار نتائج الإجابة كقراءات لمتغير قرار خفي، مما يمهد الطريق لفهم أفضل للثقة في كل من الذكاء البشري والاصطناعي.