في عالم الذكاء الاصطناعي المتقدم، يمثل عدد معلمات نماذج اللغات الضخمة (LLMs) عنصراً مهماً يتم تقييمه في قدرات هذه النماذج. لكن العديد من المختبرات الرائدة تحتفظ بأعداد هذه المعلمات كأحد الأسرار. في هذا السياق، تم تقديم مفهوم جديد يسمى "استبيانات المعرفة غير القابلة للاختزال" (Incompressible Knowledge Probes - IKPs) في دراسة حديثة، حيث تهدف هذه الاستبيانات إلى قياس قدرة النماذج على استرجاع المعلومات الموضوعية.

تعتمد IKPs على 1,400 سؤالاً فريداً تم تصميمه بعناية ليغطي 7 مستويات من الغموض، مما يساعد في تحديد المعرفة التي لا يمكن اشتقاقها من خلال التفكير العقلاني أو تحسينات هندسية. من خلال إلغاء أي عقوبات على الأخطاء (lambda = 0)، يوفر الباحثون مقياساً دقيقاً وموثوقاً عن مدى دقة ردود النماذج.

بتطبيق تحليل معمق على 93 نموذجاً مفتوحاً، تمتد معاييره من 135 مليون إلى 1,600 مليار معلمة، حيث حققت الدراسة نسبة تقريبية R^2 = 0.910 في تقدير عدد المعلمات. يوضح هذا النتائج كيف يمكن أن توفر هذه الاستبيانات ترتيباً نسبياً للقدرات المعرفية بدلاً من الأعداد الدقيقة.

وأظهرت الدراسة أن النماذج التي تعتمد على "مزيج من الخبراء" تتنبأ بمعرفة النماذج بشكل أفضل من خلال عدد المعلمات الكلي بدلاً من المعلمات النشطة، الأمر الذي يبرز أهمية فهم الهيكل والتصميم الفريد لكل نموذج. وأخيراً، تم تقييم 201 نموذج من 27 مزوداً، حيث تُظهر النتائج أن القدرة المعرفية الفعالة للنماذج تمتاز بتفاوتات واسعة، وهذا يفتح باباً للنقاش حول كيفية تحسين هذه الأنظمة للحصول على أفضل أداء ممكن.