في عصر يتسم بالتطور التكنولوجي السريع، أصبحت نماذج التحويل (Transformers) ذات القدرة على معالجة اللغة الطبيعية واحدة من أهم الابتكارات. في بحثنا الأخير، ألقينا الضوء على قدرة هذه النماذج - وخاصة تلك التي تعتمد فقط على مفهوم "المفسر" - في أداء التفكير الرمزي المجرد. فقد اكتشفنا أن هذه النماذج تواجه صعوبات في التعميم عند مواجهة مسائل تتضمن أسماء متغيرات لم تكن موجودة خلال مرحلة التدريب.

عبر التحليلات النظرية والتجريبية، وجدنا أن سببًا مهمًا يتسبب في هذه التحديات هو "الانهيار التمثيلي"، حيث تتقارب أوزان الطبقة الأخيرة للرموز غير المرئية إلى نفس الاتجاه خلال التدريب، مما يؤدي إلى صعوبة التمييز بين المتغيرات غير المرئية. هذا يفسر أيضًا فعالية التدخلات الهيورية القائمة على مفهوم "النسيان النشط"، والتي تقوم بإعادة تعيين الأوزان بشكل دوري.

استنادًا إلى هذه الملاحظات، قمنا بتصميم مجموعة من التقنيات التي تشمل تعديلات بسيطة في الهيكل تساعد على النسخ، وزيادة تنوع البيانات، وتجميد أو إعادة تعيين الأوزان. هذه الإجراءات حققت تحسينات ملحوظة في قدرة النموذج على التعميم تجاه الرموز غير المرئية.

علاوة على ذلك، وجدنا أدلة على "انهيار الأوزان" في النماذج ذات الأوزان المفتوحة في عائلة Gemma 3، والتي تحتوي على 99 رمزًا غير مستخدم، مما يشير إلى أن الأوزان المرتبطة بهذه الرموز تمثل نقطة انطلاق ضعيفة لتطبيقات التخصيص.

تعد هذه الاكتشافات خطوة هامة نحو تحسين نماذج الذكاء الاصطناعي القادرة على التفكير الرمزي، مما يفتح آفاقًا جديدة للبحث والتطبيقات العملية. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.