في عالم الذكاء الاصطناعي، أصبح فهم كيفية عمل نماذج Transformers أمراً بالغ الأهمية. في دراسة حديثة، استغلت مجموعة من الباحثين القدرة الحسابية لنماذج Transformers لمحاكاتها في إطار لغات البرمجة RASP. هذا الاكتشاف المفاجئ فتح أبواباً جديدة لفهم القدرة التعبيرية لهذه النماذج وقدرتها على التعميم في مسائل اللغة.

تظهر النتائج أن نماذج Transformers، عند تدريبها على مهام خوارزمية ولغوية رسمية، يمكن أن تنفذ برامج بسيطة ومفسرة. يتمثل الابتكار الرئيسي في تقديم طريقة عامة لاستخراج هذه البرامج من النماذج المدربة عن طريق إعادة برمجة Transformer كبرنامج RASP ومن ثم تطبيق تدخلات سببية لاكتشاف برنامج فرعي كافٍ وبسيط.

تؤكد تجارب الباحثين على أن هذه الطرق غالباً ما تستعيد برامج RASP بسيطة وقابلة للتفسير من نماذج Transformers التي تتمتع بقدرات تعميم جيدة. هذه النتائج تعتبر دليلاً قوياً على أن نماذج Transformers تعمل داخلياً على تنفيذ برامج RASP بسيطة، مما يعزز من فهمنا لآلية عملها وكيفية تحسين أدائها.