في عالم الشبكات العصبية، تعد المرونة من المفاهيم الأساسية في عملية التعلم المستمر. إذ إن فقدان المرونة يمكن أن يؤدي إلى صعوبات كبيرة في التعلم، لذا تبرز حاجة ملحة لفهم كيفية الحفاظ عليها. في بحث جديد، تم الربط بين المرونة و Kernel التانجنتي العصبي (Neural Tangent Kernel)، حيث تم تحديد التجانس الديناميكي (Dynamical Isometry) كآلية رئيسية تسهم في الحفاظ على هذه المرونة.

تناول الباحثون فئة من الشبكات لا تظهر فيها فقدان مرونة تقريباً، وظلت تعمل كمقاربة عامة للدوال ذات النطاق المحدود (Lipschitz). وهذا يوضح أن التجانس الديناميكي القريب يتوافق مع القدرة على تقديم تمثيلات غير خطية معبرة. لعموم الأطر المعمارية، تم اقتراح نظام منتظم فعال لتعزيز التجانس، وتم التعرف على آلية جديدة يمكن أن تعيد تنشيط وحدات ReLU الخامدة.

وعلاوة على ذلك، تم تقديم AdamO، وهي مُحسّن مشابه لـ Adam يتميز بفصل تنظيم التجانس عن تحديثات التدرج، على غرار طريقة AdamW الشهيرة. كما تم reinterpret approaches السابقة التي تهدف إلى الحفاظ على المرونة من خلال منظور التجانس الديناميكي، موضحاً أنها تستهدف فقط قياس جزئي للتجانس.

من خلال اختبار أساليب جديدة على معايير التعلم المستمر سواء في مجالات التعلم المشرف أو التعلم المعزز، أثبتت الأساليب المقترحة نجاحها المتواصل في مواجهة تحدي فقدان المرونة.