تزداد أهمية نماذج اللغات الضخمة (LLMs) في البيئات التي يتطلب فيها التقييم الذاتي الموثوق به، ومن هنا يبدأ التحدي. لقد تطور تقييم موثوقية النماذج من استخدام تقديرات الصحة الاحتمالية إلى استنباط الثقة اللفظية. ومع ذلك، أظهرت الثقة أنها مؤشر غير متسق ومتفائل بشكل مفرط لدقة النموذج. استنادًا إلى نظرية التقييم الإدراكي، وهي إطار من علم النفس البشري يفكك التقييم الذاتي إلى مكونات متعددة، نقترح منظورًا متعدد الأبعاد لتقييم الذات للنموذج.

قمنا باستنباط ستة أبعاد قائمة على التقييم الذاتي، بالإضافة إلى الثقة، وقمنا بتقييم نا فاعليتها في التنبؤ بفشل النموذج عبر 12 نموذجًا من نماذج اللغات الضخمة و38 مهمة تمتد عبر ثمانية مجالات. وجدنا أن الأبعاد المرتبطة بالكفاءة، وخاصة الجهد والقدرة، تتطابق أو تفوق الثقة في معظم الإعدادات.

الأبعاد المرتبطة بالجهد تقدم تقديرات أقل تفاؤلاً وتظل مستقرة عبر أحجام النماذج المختلفة. في حين أن الأبعاد العاطفية توفر إشارات تنبؤية هامشية. علاوة على ذلك، تختلف البعد الأكثر إفادة بشكل نظامي مع خصائص المهمة: حيث يكون الجهد الأكثر توقعًا للمهام المعقدة في التفكير، بينما تهيمن القدرة والثقة في المهام الموجهة للاسترجاع.

تشير النتائج بشكل عام إلى أن التقييم الذاتي المنظم متعدد الأبعاد هو نهج واعد لتحسين موثوقية وأمان نشر نماذج اللغات في مجموعة متنوعة من البيئات العملية.