حققت نماذج اللغات الضخمة (Large Language Models) تقدمًا ملحوظًا في تقييم المقالات بطريقة آلية، ولكن لا تزال الآليات الداخلية لهذه النماذج تمثل لغزًا للكثيرين. في دراسة حديثة، تم تحليل التمثيلات المخفية لثمانية نماذج لغوية ضخمة عبر مجموعتي بيانات باللغة الإنجليزية (ASAP++ وCSEE) ومجموعة بيانات باللغة البرتغالية (ENEM).

استخدم الباحثون تقنيات مثل الفحص الخطي (linear probing) وتحليل روابط الأنماط ليتوصلوا إلى نتائج مذهلة. فقد وجدوا أن معلومات جودة المقالات تُخزن في شكل يمكن الوصول إليه خطيًا داخل تمثيلات هذه النماذج. ومن الملاحظ أنها تظهر بشكل تدريجي عبر الطبقات، وتظل قوية عبر استراتيجيات التحفيز المختلفة، وتنقل جزئيًا عبر مطالبات المقالات على الرغم من اختلاف معايير التقييم.

كما أظهرت التحليلات وجود "خلايا عصبية لتقييم المقالات" تُظهر تفاعلات قوية مع درجات المقالات، ويبدو أن سلوكها يستجيب للتدخلات المستهدفة. من المثير للاهتمام أن توزيع هذه الخلايا العصبية على مستوى الطبقات يتغير بشكل منهجي مع زيادة طول المقالات، حيث تميل المقالات الأطول للاعتماد بشكل أكبر على الطبقات الأعمق.

تُظهر هذه النتائج كيف تقوم نماذج اللغات الضخمة بتشفير تمثيلات منظمة تتعلق بجودة المقالات، مما يوفر رؤى جديدة حول تفسير أنظمة تقييم المقالات المستندة إلى الذكاء الاصطناعي.