في تطور جديد يثير اهتمام مجتمع الذكاء الاصطناعي، تتعهد تقنية SAME (StAbilized Mixture-of-Experts) بإحداث ثورة في نماذج اللغات متعددة الوسائط (Multimodal Large Language Models) من خلال معالجة التحديات المرتبطة بالتكيف المستمر. تعتبر عملية التكيف مع التعليمات (Continual Instruction Tuning) ضرورية لتوسيع إمكانيات هذه النماذج في بيئات العالم الحقيقي.

مؤخراً، تم الاعتماد على طرق متنوعة لتعزيز تخصص المهام عبر توجيه الخبراء النادر. ومع ذلك، كشفت الأبحاث أن عملية توجيه الخبراء تعاني من الظواهر الانحرافية مع تطور توزيع البيانات. على سبيل المثال، قد يتم توجيه استفسار تستخدمه لتحديد الموقع إلى خبراء غير ذي صلة بعد تعلم مهام جديدة مثل التعرف الضوئي على الأحرف (OCR).

لتجاوز هذه المشكلة، تقدم تقنية SAME حلولاً مبتكرة لمشاكل انحراف التوجيه (router drift) وانحراف الخبراء (expert drift). حيث تقوم SAME بتثبيت عملية اختيار الخبراء من خلال تحليل ديناميكيات التوجيه إلى فضاءات متعامدة، بحيث يحدث التحديث فقط في الاتجاهات المتعلقة بالمهام. ومع ذلك، تتم إدارة تحديثات الخبراء بشكل يعكس التغيرات التاريخية في البيانات، مما يضمن عدم تداخل المعلومات بين المهام المختلفة.

تتضمن هذه التقنية أيضًا تفعيل الخبراء بشكل تكييفي، حيث يتم تجميد بعض الخبراء المحددين أثناء التدريب لتقليل الحسابات الزائدة. كما تم تقديم مقياس جديد لتقييم الأداء في التحسين المستمر على مدى تسلسل المهام الطويلة. وقد أظهرت التجارب الكثيفة التي أجريت أن تقنية SAME تتفوق على التقنيات التقليدية، مما يجعلها الخيار الأفضل لمواجهة تحديات المستقبل في عالم الذكاء الاصطناعي.

مزيد من التفاصيل حول الأبحاث متاحة على GitHub لتحميل التعليمات البرمجية المستخدمة.