في عالم الذكاء الاصطناعي، تستمر نماذج اللغات الضخمة (Large Language Models) في إظهار إمكانيات مذهلة، وخاصة في مجال تحليل البيانات العددية والتنبؤات الزمنية. وقد أظهرت الأبحاث الأخيرة أن نموذج لاما 3.1-8B يمتلك قدرات قوية في معالجة تسلسل الأرقام، لكن الآليات التي تسهم في إنجاز هذه التنبؤات بقيت غامضة حتى الآن.

للتحقق من فهم النموذج للبنية الكامنة وراء الأرقام، أجرى الباحثون دراسة تركز على فهم آليات النموذج من منظور التفسير الميكانيكي (Mechanistic Interpretability). هذا الفرع من البحث يهدف إلى عكس هندسة الخوارزميات التي تعلمتها الشبكات العصبية مثل نماذج اللغات الضخمة.

قام العلماء بتصميم مهمة لنمذجة التسلسل لا يمكن حلها دون التقاط الإشارات الهيكلية. تتضمن هذه التجربة أخذ مجموعة عشوائية من الأرقام وتكرارها مع انزياح معين. وقد أظهرت النتائج أن نموذج لاما يتمتع بأداء قوي، مما يشير إلى قدرته على التعرف على البنية الأساسية لهذه الأرقام.

أجريت تجارب استدلالية بواسطة تحليل الصفات العكسية، والذي أظهر أن النموذج يقوم بحساب وتخزين الفروقات الأولى ضمن تمثيلاته الداخلية دون إشراف صريح، مما يدل على تتبعه للمعلومات الهيكلية. وباستخدام تقنية ربط التنشيط، تبين أن لاما يستخرج الفارق الأول بطريقة مشابهة لدائرة التحريض، ثم يضيفه إلى القيمة الحالية.

تعتبر هذه الأبحاث من بين أولى الدراسات التي تحدد مفهوم الاستدلال في نماذج اللغات الضخمة، مما يعكس تقدمًا ملحوظًا في فهمنا لكيفية عمل هذه الأنظمة الذكية.