انهيار الطيف: لماذا تواجه الشبكات العصبية العميقة صعوبة في التعلم المستمر؟

تشهد الشبكات العصبية العميقة (Deep Neural Networks) عدة تحديات خلال مراحل التعلم المستمر، ومن أبرزها فقدان المرونة أو القدرة على التعلم من مهام جديدة دون الحاجة لإعادة إعداد المعلمات. تكشف دراسة حديثة عن سبب هذا الفقدان، موضحة أنه يحدث بعد انهيار الطيف الهسي (Hessian spectral collapse) عند بدء تعلم مهام جديدة، حيث تختفي الاتجاهات المنحنية المهمة وتصبح خوارزمية النزول التدريجي (Gradient Descent) غير فعالة.

مع تحليل شبكة ReLU خطية (Linearized ReLU Network)، توصل الباحثون إلى شروط رينك (Rank Conditions) صريحة من أجل تدريب ناجح، وبرهنوا أن مصفوفة جرام المثقلة بفقدان الوزن (Loss-weighted Gram Matrix) متكافئة طيفياً مع تقريبات غاوس-نيوتن العامة (Generalized Gauss-Newton Approximation). هذا الربط بين الديناميات NTK والانحناء الهسي يفتح آفاق جديدة لفهم الفجوات في تعلم الشبكات العصبية.

من خلال توجيه الانتباه مباشرة إلى انهيار الطيف، تناولت الدراسة تقريب كروينكر للانحناء (Kronecker factored approximation of the Hessian)، مما يتيح تحفيز تحسينات في النماذج من خلال الحفاظ على صفات مرتفعة فعالة، وتطبيق عقوبات L2.

أظهرت التجارب التي أُجريت على مهام التعلم المستمر المشرف (Continual Supervised Learning) وتعزيز التعلم (Reinforcement Learning) أن الجمع بين هذين التحسينين يفيد بشكل كبير في الحفاظ على قدرة الشبكات على التكيف.

في ختام المقال، نستطيع القول إن فهم انهيار الطيف قد يكون خطوة مهمة لمواجهة التحديات في التعلم المستمر. فما رأيكم في هذه الاكتشافات؟ شاركونا أفكاركم في التعليقات!