في عالم الذكاء الاصطناعي، تعد نماذج Transformers المعمارية الرائدة في معالجة اللغات، وقد حصلت على اهتمام كبير بفضل قدرتها على فهم السياقات المعقدة. ولكنه لم يكن معروفًا حتى الآن أن هذه النماذج تتبنى بشكل غير مباشر بنية مكدس (Stack) تساعدها في التعامل مع اللغات العكسية (Counter Languages).

تشير الأبحاث الحديثة إلى أن نماذج Transformers التي تم تدريبها على التنبؤ بالتوكنات التالية باستخدام اللغات العكسية تُظهر تمثيلات تتماشى مع بنية المكدس. لكن البحث لم يتوقف عند هذا الحد، فقد تم التحقيق في الدور السببي لهذه التمثيلات. فعبر تدريب محولات خطية (Linear Probes) للتنبؤ بعمق المكدس لكل توكن بناءً على حالات النموذج المخفية، واستخراج اتجاه تمثيل رئيسي، أثبتت الأبحاث أهمية هذه التمثيلات.

إحدى النتائج المثيرة للاهتمام هي أنه عند إلغاء هذا الاتجاه من النموذج، كانت دقة النموذج تتراجع إلى ما يقرب من 0%، مما يقدم دليلاً قوياً على أن تمثيل المكدس ليس مجرد اكتشاف تكيفي، بل هو ضروري لأداء النموذج.

هذه الاكتشافات ليست مجرد تقدم أكاديمي، بل تلقي الضوء على كيفية تحسين الآليات المدعومة برمجات الذكاء الاصطناعي، مما يؤدي إلى تطوير تقنيات جديدة قد تساهم في تقديم حلول أكثر كفاءة للتحديات اللغوية المعقدة.