في عالم التعلم العميق (Deep Learning)، يعد الاستقرار أثناء التدريب من التحديات الكبرى التي تواجه الباحثين والمطورين. تقلبات غير متوقعة في معايير التدرج (Gradient Norm) قد تؤدي إلى تحديثات مبالغ فيها في المعلمات، مما قد يُفسد حالة المحسّن ويؤدي إلى بطء في الانتعاش أو حتى انحراف التعلم. على الرغم من أن الحلول التقليدية مثل تقليم التدرج (Gradient Clipping) تُستخدم على نطاق واسع للحد من هذه المخاطر، إلا أنها تتطلب ضبط العتبات وقد تترك تحديثات كبيرة بدون معالجة ملائمة.

لنستعرض الحل الجديد: GradientStabilizer! هذه التقنية الخفيفة تُدخل تغييرات على التدرج في وقت التشغيل، محتفظةً باتجاه التدرج الفوري، لكنها تستبدل مقدار التحديث بتقدير مستقر إحصائيًا مستمد من إحصائيات النمط. أثبتنا أن هذه الكمية المستقرة محصورة بشكل موحد في حالات الطفرات، بغض النظر عن حجم الطفرة، وكيفية السيطرة على تطور حالة المحسّن في الطرق التكيفية.

من خلال التحضير المسبق لنماذج اللغة الضخمة (LLMs) باستخدام FP16، والتحضير المسبق المدرك للكم (FP4)، وتصنيف ImageNet، والتعلم المعزز (Reinforcement Learning)، وتوقع السلاسل الزمنية (Time-Series Forecasting)، أثبتت GradientStabilizer قدرتها على تحسين استقرار التدريب، وتوسيع مناطق معدل التعلم المستقر، وتقليل فرص الانحراف مقارنةً بالأساليب المعتمدة على التقليم، بل وتخفيف حساسية خوارزمية أدام (Adam) من قوة تآكل الوزن (Weight Decay Strength).

كود هذه التقنية سيصدر قريبًا، فترقبوا!