يعتبر تقييم نماذج اللغات الضخمة (Large Language Models) أمرًا بالغ الأهمية في عصر الذكاء الاصطناعي الحالي، لكن الطرق التقليدية المعتمدة غالبًا ما تتركز على متوسط الدقة، مما يؤدي إلى تجاهل فوضى النتائج وعدم تجانس عناصر التقييم. لذا، قدم الباحثون إطار عمل جديد يعتمد على نظرية استجابة العناصر (Item Response Theory - IRT) لتقييم هذه النماذج بشكل أكثر دقة وفعالية.

يتميز هذا الإطار الجديد بأنه قابل للتفسير والتوسع، مما يساعد على التخفيض من التكاليف الحسابية المرتبطة بالتقييم. يعتمد البحث على مبدأ تحسينات تسلسلية، حيث يعيد صياغة مشكلة التقييم إلى مجموعة من المسائل الفرعية للتحليل المدروس، مما يسهل تقدير المعلمات بشكل مستقر وفعال.

تم اختبار إطار العمل على مجموعات بيانات متعددة، بما في ذلك MATH-500 وبعض المعايير المفتوحة للقيادة في نماذج اللغات الضخمة، مما أظهر ميزاته في السرعة والدقة. وصلت نسبة التحسين في سرعة التنفيذ إلى مستويات غير مسبوقة بينما حافظت دقة التقديرات على مستوى أفضل أو مشابه للطرق الحالية.

تتناسب نتائج هذا الإطار مع القوانين المعروفة في مجال التوسع وتحسين فهم صعوبة العناصر ومعدلات التمييز، مما يسهم في تصميم معايير قائمة على أسس علمية وقابلة للتطبيق على نطاق واسع.