في عالم الذكاء الاصطناعي، تُظهر نماذج التحويل (Transformers) قدرات ملحوظة في التعلم المنهجي. ومع ذلك، ركزت التحليلات الميكانيكية حتى الآن على العمليات القابلة للعكس على مستوى عالمي، مثل الجمع الدائري وتكوين المجموعات. في هذه الدراسة الجديدة، نستكشف كيف يمكن لنماذج التحويل الصغيرة أن تتعلم ضرب الأعداد الصحيحة على معدلات مركبة، وهو إجراء ليس قابلاً للعكس بشكل جذري نتيجة وجود قواسم صفريّة.

نعرض مفهوم الامتداد المونيدي: وهو تعميم موضعي لتكوين المجموعات عبر التمثيل (Group Composition via Representation)، مما يشير إلى أن الحوسبة التي يتم تعلمها لا تعتمد على مساحة تمثيل عالمية واحدة. بل، يقوم النموذج بتقسيم مساحة المدخلات إلى مناطق جبرية هرمية محلية، حيث تظل الهياكل الشبيهة بالمجموعات وتُطبق آليات فوريير.

من خلال دراسة نماذج التحويل التي تم تدريبها على ضرب الأعداد ذات المعدلات خالية من المربعات، نكتشف أن التجسيدات تتجمع حول هذه المناطق، وأن الانتباه يُظهر توجيهًا حساسًا لفئات معينة واتجاهات كتابة ذات رتبة منخفضة. كما تشرح ميزات الشخصية المحلية جزءًا كبيرًا من النتائج الناتجة عن النموذج.

تقترح نتائجنا أن الآليات النظرية التمثيلية التي تم التعرف عليها سابقًا لعمليات المجموعات يمكن أن تمتد لتشمل هياكل عامة أكثر تعقيدًا. هذه الاكتشافات تعزز فهمنا للتفاعل بين الهياكل المحلية والتعلم الآلي، مما يفتح آفاقًا جديدة للأبحاث المستقبلية.