يُعتبر فهم ديناميكيات الشبكات العصبية العشوائية أمراً حيوياً في مجال الذكاء الاصطناعي، خاصة عندما يتعلق الأمر بحالة حافة الفوضى، وهي الحالة التي تحفظ الاضطرابات من الدرجة الأولى في الشبكات الكبيرة. في دراسة حديثة على موقع arXiv، تم استكشاف كيف تؤثر التهيئة الحرجة على المشتقات العليا في الشبكات العصبية التي تعتمد على المدخلات السلمية.

تظهر النتائج أن الخسائر المستندة إلى الفيزياء، والتحكيم في الدرجات، وتنظيم المشتقات، تعتمد بشدة على المشتقات العليا للمدخلات. ومن خلال استخدام التوزيع الجاوسي المشترك للأبعاد النهائية، المستمر في حدوده اللانهائية، وضع الباحثون معادلات متوسط الحقول حتى الدرجة الثالثة، التي تبين شيخوخة التغييرات مع عمق صغير.

عند حالة الحرجة، تبقى متغيرات الدرجة الأولى مستقلة عن العمق، في حين أن متغيرات الدرجة الثانية تنمو خطياً عند وجود انحناء غير صفري في التفعيل. وقد أثبتت محاكاة النتائج القوانين الحرجة للنمو، وحدود البقايا، والمعادلات المغلقة.

تتمحور النتائج حول التهيئة، وليس أداء الشبكة المدربة، مما يسلط الضوء على أهمية كيفية بدء الشبكات وليس فقط كيف تؤدي بعد التدريب. ما implications (التداعيات) للعالم الأكاديمي وصناعة الذكاء الاصطناعي؟ هذه الأسئلة ستؤدي إلى استكشافات جديدة ودراسات بحثية في المستقبل.