في عالم الذكاء الاصطناعي، تأتي دراسة "إعادة التعلم" (Machine Unlearning) لتسلط الضوء على كيفية إزالة تأثير بيانات تدريب معينة من النماذج، مع الحفاظ على سلوك موثوق على البيانات المتبقية. بهذه الطريقة، يصبح كل من دقة التنبؤ (Predictive Accuracy) وتقدير عدم اليقين (Uncertainty Estimation) أمرين أساسيين لتقييم النماذج.

تُستخدم عملية المعايرة (Calibration) بشكل شائع كمؤشر على موثوقية نماذج اللغة. ومع ذلك، فإن الحصول على خطأ معايرة منخفض لا يعني بالضرورة أن القواعد المُعتمدة في اتخاذ القرارات موثوقة أيضًا. ففي بعض الأحيان، يمكن أن تعتمد النماذج على ارتباطات زائفة، بينما تبقى المعايرة سليمة.

استنادًا إلى أبحاث حديثة، تم فحص هذا الفجوة في نماذج اللغة التوليدية باستخدام بروتوكول تقييم الأسئلة المتعددة الخيارات على مرج TOFU، مما أدى إلى قياس الموثوقية الاحتمالية باستخدام مقاييس المعايرة مثل ECE (Expected Calibration Error) وMCE (Maximum Calibration Error) وBrier. كما تم تحليل موثوقية قواعد اتخاذ القرار عبر اكتشاف الاختصارات المعتمدة على نسبة إخراج المعلومات مع التدرجات المتكاملة (Integrated Gradients) والمعلومات المحلية المتبادلة (Local Mutual Information).

وقد أظهرت النتائج أن النماذج المتطورة تحقق خطأ معايرة منخفضًا (~ 0.04) مقارنة بالنماذج المدربة مسبقًا التي تعاني من خطأ يتجاوز 0.5. ومع إجراء عملية إعادة التعلم، تبقى المعايرة منخفضة على الرغم من انخفاض دقة الأداء، مما يشير إلى أن التحليل القائم على النسب يُظهر اعتمادًا متزايدًا على الرموز المعتمدة على الارتباطات.

تؤكد هذه النتائج على أن المعايرة الجيدة يمكن أن تتواجد جنبًا إلى جنب مع قواعد قرار قائمة على الاختصارات بعد عملية إعادة التعلم، مما يوسع المفارقة حول الموثوقية في سياق إعادة التعلم.