في عالم الذكاء الاصطناعي، تظل مشكلة النسيان الكارثي (Catastrophic Forgetting) أحد أكبر التحديات التي تواجه نماذج التعلم المستمر، خصوصًا في النماذج اللغوية الكبيرة (LLMs) ونماذج الرؤية-اللغة (VLMs). رغم أن الهياكل المبنية على خليط من الخبراء (Mixture-of-Experts - MoE) توفر وسيلة فعالة للتوسع، فإن الطرق الحالية المستخدمة مع LoRA لا تزال تعاني من توازن أساسي: إذ تقوم إما بعزل الخبراء بشكل مفرط، مما يحد من نقل المعرفة بين المهام، أو تتيح تحديثات محددة للمهام أن تتجاوز المعلمات المهمة السابقة، مما يؤدي إلى نسيان حاد.

للتغلب على هذه التحديات، يُقدم CP-MoE، وهو إطار تعلم مستمر يتمحور حول خبير عابر يلتقط التحديثات المبكرة الخاصة بالمهام ويقوم بتوجيه دمجها في الخبراء المستقرين. يتميز CP-MoE بآلية توجيه تحافظ على الاتساق، حيث يستخدم الخبير العابر لتقدير تشابه التمثيلات مع الخبراء المستقرين ويوجه التوجيه نحو اختيار الخبراء الأكثر توافقًا. بالإضافة إلى ذلك، يُقدّم آلية تنظيمية موجهة تساعد على حماية المعلمات التاريخية المهمة أثناء الدمج.

تعمل هذه العناصر مجتمعة على تقليل تداخل المعلمات والنسيان، مع الحفاظ على نقل المعرفة بين المهام. لقد قمنا بالتحقق من فعالية CP-MoE من خلال اختبارات التعلم المستمر الأحادي والمتعدد النماذج باستخدام نماذج MoE المبنية على LLM وVLM. على سبيل المثال، في اختبار SuperNI، حقق CP-MoE أداءً رائدًا وأظهر قدرة قوية على نقل المعرفة بشكل مباشر لمهام غير مكتشفة. كما أظهر في مجموعة بيانات VQA v2 فعالية في التوسع نحو الاستدلال البصري المتعدد النماذج، مما قلل من النسيان بشكل متسق وتفوق على معايير MoE القوية.

هذا التطور يعد خطوة فارقة نحو تحسين أداء نماذج الذكاء الاصطناعي وزيادة قدرتها على التعلم من المهام المتعددة دون فقدان المعلومات المهمة. ما رأيكم في هذا التطور؟ هل تتوقعون تأثيره على مستقبل الذكاء الاصطناعي؟ شاركونا في التعليقات.