تعد عملية الانتشار العكسي (Backpropagation) حجر الزاوية في تدريب الشبكات العصبية، لكنها تواجه تحديًا جوهريًا يتعلق بضرورة تخزين التنشيطات الوسيطة (Intermediate Activations) أثناء المرور الأمامي، مما يحد من عمق الشبكات القابلة للتدريب. في محاولة لتجاوز هذه القيود، يقدم الباحثون طريقة جديدة تحت اسم 'Moonwalk'، التي تعد ثورة في مجال التعلم العميق.

تتمحور الفكرة الرئيسية حول إعادة النظر في بنية حساب المتجهات (Gradient Computation). تستخدم تقنية الانتشار العكسي حساب التدرجات من خلال سلسلة من منتجات جايكوب المنتج (Vector-Jacobian Products)، وهي عملية تُعتبر عامة غير قابلة للعكس، مما يعني أن المعلومات المفقودة في كل طبقة من جايكوب تُخزن في cokernel الخاص بها.

تُعرف الشبكات السابحة (Submersive Networks) بأنها شبكات تتميز بجايكوب يملك cokernels بسيطة، حيث يمكن إعادة بناء التدرجات بدقة في مرور أمامي دون الحاجة لتخزين التنشيطات. أما بالنسبة للطبقات غير السابحة، فتم تقديم طريقة تتبع شاملة للتدرج (Fragmental Gradient Checkpointing)، التي تسجل فقط الحد الأدنى من التنشيطات الضرورية لاستعادة cotangents المحذوفة.

المكون المركزي لطريقتنا هو مشغل جديد يعرف باسم 'منتج الجايكوب المعكوس المتجه' (Vector-Inverse-Jacobian Product - vijp)، الذي يقوم بعكس تدفق التدرجات خارج cokernel. يعتمد أسلوبنا المختلط أولاً على حساب تدرجات المدخلات باستخدام مرور عكسي فعال في استخدام الذاكرة، ثم يعيد بناء تدرجات المعلمات في عملية أمامية باستخدام vijp، مما يلغي الاضطرار إلى تخزين التنشيطات.

لقد طبقنا هذه الطريقة في Moonwalk وأثبتت أنها مطابقة لوقت التنفيذ لطريقة الانتشار العكسي، فقط مع ميزة تدريب الشبكات بعمق أكبر بأكثر من الضعف تحت نفس ميزانية الذاكرة.

اكتشاف هذه الطريقة الجديدة يفتح آفاقاً جديدة في مجال الذكاء الاصطناعي، مما يبشر بعصر جديد من الشبكات العصبية الأكثر عمقًا وكفاءة. لنرَ كيف ستُعيد هذه التطورات تعريف طريقة التعلم وكيف ستستفيد منها التطبيقات المستقبلية.

ما رأيكم في هذا التطور العجيب؟ شاركونا في التعليقات.