تظل مشكلة النسيان الكارثي (Catastrophic Forgetting) من التحديات الأكثر إطلاعًا في مجال الذكاء الاصطناعي، خاصةً عندما يتعلق الأمر بالتكيف المستمر (Continual Adaptation) للنماذج. يدرس الباحثون هذه الظاهرة غالبًا من جوانب مختلفة مثل انزلاق المعلمات (Parameter Drift) والإعادة (Replay) والتقطير (Distillation)، لكنها غالبًا ما تفتقر إلى تحديد الاتجاهات المعرضة للخطر في فضاء المخرجات.

لكن ماذا لو كانت هناك طريقة أخرى لرؤية هذه المشكلة؟ في ورقة بحثية جديدة نُشرت على موقع arXiv، يتم تقديم تفسير جديد يستند إلى فضاء الدوال في إطار عمل نظرية النمط (NTK). تفيد الدراسة أن تدريب مهام جديدة يؤدي إلى انزلاق في توقعات المهام القديمة من خلال نويات المهام المتقاطعة، مما ينتج عنه دالة تنبؤية يمكن استخدامها لتحديد متجه النسيان قبل أي خطوة تدرج للمهمة الجديدة.

في نماذج PEFT-CL التي تتضمن عمودًا متجمدًا ورأسًا خطيًّا، حيث يكون النموذج خطيًا في المعلمات القابلة للتدريب، تكون هذه الدالة دقيقة للغاية وفقًا لدقة الأرقام. أما بالنسبة للموقتات غير الخطية أو التهيئة الدقيقة الكاملة، فهي تمثل تقريبًا محليًا لنظرية النمط. تكشف نفس المعادلة أن النسيان يتركز في عدد قليل من أنماط NTK الخاصة بالمهام القديمة، وتحت الرؤوس الخطية المتجمدة، تقدم قاعدة قياس كروية لقوة الازدواج المعرضة للخطر.

تعمل هذه النتائج الجديدة على توضيح العلاقة مع نظرية تداخل NTK السابقة، وشرح لماذا قد تفوت نظم تنظيم المعلمات الخطية التأثيرات في فضاء المخرجات، كما أنها تدفع نحو تطوير منظم طيفي مستهدف. تعتبر هذه النتائج مثيرة للاهتمام وتفتح أفقًا جديدًا لفهم وتحسين تقنيات التعلم الآلي في ظل تغير المهام.