ثورة التعلم المدعوم محلياً: كيف نتغلب على نسيان النموذج الضخم!

في عالم الذكاء الاصطناعي الحديث، تواجه النماذج الضخمة (Large Models) تحديات عديدة، من بينها ظاهرة "نسيان الكارثة" (catastrophic forgetting)، حيث تفقد النماذج المهارات والمعرفة المتراكمة حين تتعرض لمعلومات جديدة. وفي خطوة مبتكرة، تم تقديم تقنية جديدة تحت مسمى التعلم المدعوم محلياً (Local Support Learning - LSL) لتتناول هذا التحدي.

وتعتبر LSL بمثابة إطار عمل شامل يضيف تحسينات على التدريب القائم على التدرج (Gradient-based training)، مما يتيح للنماذج الاحتفاظ بقدراتها السابقة دون الحاجة إلى الوصول إلى البيانات القديمة. يعتمد التصميم الأساسي لهذه التقنية على مبدأ تقسيم الأدوار بين مكونين: معدّل الأوزان القياسي، الذي يتم تدريبه بشكل تقليدي لتقليل الخطأ، ووظيفة بوابة تقوم بتمكين المعدّل فقط على تنشيطات الإدخال التي تتوافق مع مجموعة بيانات التدريب الخاصة به.

التحدي الرئيسي يكمن في كيفية توجيه هذه البوابة للبيانات من جميع مراحل التعلم، فيما يتم التدريب فقط على بيانات المرحلة الحالية. وللتغلب على ذلك، تم استخدام نموذج خليط غاوسي (Gaussian Mixture Model - GMM)، الذي يُظهر احتمالاً ضعيفاً بعيداً عن بيانات التدريب الخاصة به، مما يجعله يتسم بنزعة طبيعية للبقاء مغلقاً عند التعامل مع بيانات المراحل السابقة.

أظهرت التجارب أن هذه الطريقة ما بعد التدريب يمكن أن تحل مشاكل نسيان النماذج الضخمة التي تحتوي على حتى 7 مليارات معامل، مما يضمن الاحتفاظ بكلا القدرات المدربة مسبقًا والمعدلة عبر مراحل تدريب متعددة، دون التأثير الكبير على الذاكرة أو القدرة الحاسوبية، مع إمكانية التوسع في التطبيق.

إن هذه التطورات تفتح أفقاً جديداً في مجال الذكاء الاصطناعي، وهو ما يجعلنا نتساءل: كيف يمكن لهذه التقنيات تغيير مستقبل النماذج في السنوات القادمة؟