في عالم الذكاء الاصطناعي، تبرز أهمية مراقبة المعرفة الذاتية (Metacognitive Monitoring) كعُنصر أساسي لتقييم أداء النماذج. دراسة جديدة نشرت في arXiv تفتح بابًا على هذا الموضوع، حيث تم اختبار 33 نموذجًا متقدمًا من عائلات مختلفة في مجموعة من الاختبارات المعقدة. استخدم الباحثون 1500 عنصر من اختبار معيار MMLU، مقسمة على ستة مجالات رئيسية، لتقييم مدى قدرة النماذج على التعلم الذاتي.

أظهرت النتائج أن جميع النماذج التي حققت نتائج أفضل من الصدفة المعنوية كانت تتمتع بتباين غير تافه على مستوى المجالات. مثلاً، كان من السهل مراقبة المعرفة في مجال المعرفة التطبيقية/المهنية (Professional Knowledge) بمعدل AUROC بلغ 0.742، حيث كان هذا المجال في أعلى مرتبتين بين 21 من 33 نموذج. في المقابل، كانت المجالات مثل التفكير الرسمي (Formal Reasoning) والعلوم الطبيعية (Natural Science) من بين الأصعب للمراقبة، مما يعكس تحديات هذه المجالات المتقدمة.

علاوة على ذلك، توصل التحليل إلى أن تصنيف المجالات الستة يعتبر معيارًا عمليًا وليس بنية خفية مُعتمدة. أظهرت بعض النماذج، مثل Gemma 4 31B، تحسنًا ملحوظًا بنحو 0.202 AUROC مقارنة بالموديل السابق Gemma 3 27B، مما يشير إلى التحسين المستمر لتلك النماذج.

تدل هذه النتائج على أن المقاييس الإجمالية يمكن أن تُخفي التباين الفعلي بين المجالات، مما يجعل عملية تصنيف المجالات خطوة مهمة قبل تطبيق النماذج في مجالات معينة. تظهر الأدلة القوية على ترابط الأداء المعرفي بالنماذج وأهمية مراقبة المعرفة الذاتية لتحسين نتيجة التطبيقات العملية.