استكشاف سلوك ثقة نماذج اللغة الكبيرة: أدوات تشخيص جديدة تثير الدهشة

في عالم الذكاء الاصطناعي، تعتبر الثقة وسيلة أساسية لتقييم أداء نماذج اللغة الكبيرة (LLMs). وقد قدم فريق من الباحثين مفهومًا مبتكرًا يُعرف باسم 'مسبار التفكير التأملي'، الذي يتكون من خمسة مهام تشخيصية، ويهدف إلى تحليل سلوك ثقة هذه النماذج بطريقة مفصلة ودقيقة.

يتكون المسبار من 15 بُعدًا سلوكيًا يتم من خلاله؛ تفكيك سلوك الثقة إلى خمسة أبعاد متميزة تشمل:
1. **مواءمة الثقة** (Confidence Calibration)
2. **اليقظة المعرفية** (Epistemic Vigilance)
3. **حدود المعرفة** (Knowledge Boundary)
4. **نطاق المواءمة** (Calibration Range)
5. **تقييم سلسلة التفكير** (Reasoning-Chain Validation)

تم تقييم هذه الأداة على ثمانية نماذج رائدة و69 إنسانًا. تشجع هذه الأدوات المجتمعات البحثية على التفكير في كيفية التعامل مع البيانات المعقدة لأداء النماذج، مما يجعل من الممكن تقييم موثوقية المعلومات الناتجة عن هذه النماذج..

المثير للاهتمام هو أن منتج 'مسبار التفكير التأملي' لا يقتصر فقط على قياس ما إذا كانت النماذج تنتج استجابات صحيحة، بل يستكشف أيضًا ما إذا كانت تعرف متى تكون إجاباتها خاطئة. على سبيل المثال، قد تحقق نموذج أداء عالي في قياسات مواءمة الثقة، ومع ذلك قد يكون متفائلاً بشكل مفرط في مجالات معينة تخفيها الأرقام الإجمالية.

أما بالنسبة للأداء المثير للدهشة، فقد تم الكشف عن 47 نقطة تباين داخلي في نموذج Gemini 2.5 Flash، حيث سجل أعلى مواءمة ثقة داخليًا بينما كان لديه أدنى تقدير لصعوبة التنبؤ عبر المهام. مما يثير تساؤلات حول كيفية إدارة هذه النماذج لمستوى ثقتها.