في عالم الذكاء الاصطناعي، تمثل نماذج Transformers ثورة حقيقية في التعامل مع البيانات. وفي دراسة حديثة تم نشرها على منصة arXiv، تم تسليط الضوء على ديناميكيات تدريب من مرحلتين قد تلقي الضوء على كيفية تحسين أداء هذه النماذج.

عند تدريب نموذج GPT-2 على مجموعة بيانات Counterfact، لوحظ أن إجابات النموذج تتصاعد من الأخطاء النحوية إلى صحة نحوية ثم إلى دقة دلالية، مما يشير إلى وجود نوع من التطور البَنيوي في كيفية تعامل النموذج مع المعلومات.

تقوم الدراسة الجديدة بإجراء تحليل نظري لديناميكيات التعلم للخصائص التي تؤدي إلى هذه الديناميات ذات المرحلتين. حيث أظهرت النتائج أن هذه العمليات مرتبطة ببنية الميزات المنفصلة بين النحو والدلالة، وهو ما قد يكون مخاطرة نظرية جديدة في فهم التحسينات في النماذج.

كذلك، تشير الدراسة إلى أن هذا الانفصال في بنية الميزات يعكس ممارسات عامة، حيث أن اللغات الطبيعية تحتوي على جوانب نحوية ودلالية، بينما تحتوي البروتينات على هياكل أولية وثانوية.

تعد هذه الورقة من أوائل الدراسات التي تشهد نتائج صارمة فيما يتعلق بعمليات التحسين على مستوى الميزات في نماذج Transformers ضمن هذا الإطار النظري الجديد. ويبدو أن هذه الديناميات ستكون قريبة من الخصائص الطيفية لأوزان الانتباه، ما يفتح أفقًا جديدًا لفهم أفضل للتعلم الآلي.