في عالم الذكاء الاصطناعي السريع التطور، يبقى التعلم المستمر (Continual Learning) أحد أبرز التحديات. حيث تُشير الدراسات الحديثة إلى أن النماذج متعددة الوسائط اللغوية الضخمة (Multimodal Large Language Models) بحاجة ماسة لتكيّف فعال دون فقدان ما اكتسبته من قدرات سابقة.

وعندما نتحدث عن الحلول، نجد أن الطرق التقليدية لجعل الموجهات (Routers) والخبراء (Experts) تعمل بشكل متناغم غالبًا ما تؤدي إلى ظاهرة تدعى "تداخل التكيف الخاطئ" (Misaligned Co-drift). هذه الظاهرة تُعقد المسؤوليات بين الخبراء وتسهل عملية النسيان، مما يؤثر على الأداء العام للنموذج.

لكن، لا داعي للقلق! حيث تم تقديم حل مبتكر يُعرف باسم "فضاء تفعيل مسارات التنشيط" (Pathway Activation Subspaces) أو اختصارًا "PASs". يعمل هذا الحل على إنشاء نظام إحداثيات يتوافق مع قدرات كل خبير، مما يسهل عمليات التوجيه والحفاظ على المعلومات المهمة.

يتضمن نهج PASs-MoE الجديد عنصرين رئيسيين هما:
1. إعادة الوزن الموجهة بواسطة PAS، حيث يتم ضبط التوجيه بناءً على إشارات التفعيل الخاصة بالخبراء.
2. استقرار الرتبة المدرك مبنيًا على PAS، الذي يركز على تثبيت الاتجاهات المهمة للمهام السابقة.

تجارب على معايير CIT أثبتت أن هذا الابتكار يتفوق على العديد من الأساليب التقليدية في الدقة ومقاومة النسيان، دون أي زيادة في عدد معلمات النموذج. يُعد هذا النجاح علامة فارقة في سعي العلماء لتطوير نماذج تتفوق في التكيف في بيئات تعليمية متعددة.

يمكنكم الوصول إلى الشيفرة المصدرية الكاملة لهذا العمل على GitHub واستكشاف المزيد من تفاصيله.