تُعتبر الشبكات العصبية العميقة (Deep Neural Networks) من أعظم الإنجازات في مجال الذكاء الاصطناعي، حيث أثبتت قدرتها الاستثنائية في العديد من التطبيقات. ومع ذلك، لا يزال التعرف على كيف تتطور الميزات خلال مراحل تدريب الشبكات العميقة غير مكتمل، خاصة عند الحديث عن الشبكات ذات العمق اللانهائي.
في دراسة حديثة، تم التحقق من تأثيرات العمق عند استخدام نماذج ResNets مع توسيع العمق وفقاً لمقياس معين. ما يثير الاهتمام هو الطريقة التي تتم بها إعادة استخدام وزن الطبقات (Weight Matrices) في عملية العودة (Backpropagation)، مما يخلق تفاعلات معقدة بين الميزات الأمامية (Forward Features) والتدرجات الخلفية (Backward Gradients).
من خلال دراسة هذه التفاعلات، أظهر الباحثون أن هناك تأثيراً ملحوظاً يتمثل في أن التداخل الناجم عن إعادة استخدام الأوزان يؤدي إلى ارتباطات مهمة بين الأداء الأمامي والسلوك العكسي. في مرحلة الإعداد، تبين أن هذا التداخل هو نتيجة التأثيرات ذات العرض المحدود، وينتهي بشكل متسارع مع زيادة العمق.
خلال التدريب، يظهر تأثير غير تافه للجمع بين الميزات الأمامية والعكسية، وهو ما يبقى حتى في الحدود اللانهائية. يرتبط هذا التأثير بالعمق بشكل أكبر، ويصبح تأثير المساهمة المتراكمة لكل طبقة لا يُذكر عندما يتجه العمق نحو اللانهاية.
لذلك، تقدم الدراسة مفهوم ديناميات الميزات العصبية (Neural Feature Dynamics) كمنظور جديد لفهم تلك الديناميات من خلال نظام معادلات تفاضلية (SDE) تفصل الأوزان الخلفية عن العملية التدريبية. تُظهر النتائج أن الديناميات التدريبية للشبكات المحدودة تتقارب مع نتائج ديناميات الميزات العصبية مع نسبة خطأ محدودة، مما يوفر نقطة انطلاق رئيسية لفهم أفضل للذكاء الاصطناعي.