هل يمكن لنماذج اللغة الحفاظ على نفسها؟ اكتشافات مثيرة في التعلم المستمر!

في عالم الذكاء الاصطناعي، تعتبر نماذج اللغة (Language Models) من أبرز الابتكارات التي تساهم في تطوير أساليب التعلم والتفاعل. ولكن ماذا يحدث عندما نواجه تحديات الحفاظ على ما تعلمته هذه النماذج؟

عمل الباحثون مؤخرًا على استكشاف مفهوم "التعلم المستمر" (Continual Learning) الذي يسعى إلى تعديل النماذج المدربة مسبقًا دون فقدان قدراتها السابقة. تكمن المشكلة الكبرى في أن المهام المخصصة للحفاظ على المعرفة تغطي جزءًا صغيرًا فقط مما تعرفه النماذج، في حين أن النسيان يمكن أن يمتد إلى ما هو أبعد من ذلك.

تظهر الأبحاث الحديثة أن نماذج اللغة يمكن أن تعزز من قدرتها على الحفاظ على المعرفة من خلال توليد بيانات تكرارية (Replay Data) دون الوصول إلى بيانات التدريب الأصلية. هذا الصوت الجديد يثير تساؤلًا هامًا: هل يمكن لنموذج أن يختار الأهداف التي ينبغي الحفاظ عليها لحماية قدراته بشكل أوسع؟

لإجابة هذا السؤال، قام الباحثون بتنظيم أوصاف المهام وأمثلتها في "بنوك المهام" (Task Banks)، والتي يمكن اختيار إدخالاتها ودمجها لتسهيل عملية توليد البيانات التكرارية باستخدام نموذج ثابت. أسفرت التجارب باستخدام نماذج Qwen بمقاييس مختلفة عن ثلاث نتائج رئيسية.

أولاً، إن المهمة الجديدة ومعدل التعلم يؤثران على أي من القدرات السابقة تتدهور، في حين أن متابعة الأجوبة الصحيحة السابقة تكشف عن الخسائر التي قد تخفيها دقة المتوسط. ثانيًا، تقلل البيانات التكرارية المولدة من النسيان في المهام خارج البنك، حيث أن دمج البنوك الجزئية يعزز من هذه الحماية، مما يحسّن من معدل الاحتفاظ الإجمالي للأجوبة الصحيحة السابقة. ثالثًا، يمكن للنموذج أيضًا المساعدة في اختيار أهداف التكرار: حيث يؤدي الاختيار المدعوم بالمهمة الجديدة إلى تحسين معدل الاحتفاظ مقارنة بالاختيار العشوائي.

تظهر هذه النتائج مجتمعة أن نماذج اللغة يمكن أن تدعم الحفاظ الذاتي الأوسع من خلال توليد بيانات التكرار، وفي بعض الحالات، اختيار المهام التي ينبغي إعادة تشغيلها. إن هذا التوجه يبحث في أفق جديد يجسد كيفية تطور التعلم الآلي في المستقبل.