اكتشاف أخطاء خفية في تعديل التدرجات مع خوارزمية آدم في التعلم المستمر وحل مبتكر للصيانة

تعتبر تقنيات التعلم المستمر (Continual Learning) من أبرز الاتجاهات في أبحاث الذكاء الاصطناعي، حيث تهدف إلى تمكين الأنظمة من التعلم من البيانات بشكل متتابع دون الحاجة إلى إعادة التدرب من الصفر. ومع ذلك، تشير دراسة جديدة إلى وجود أخطاء خفية في طرق تعديل التدرجات (Gradient Modification) مع خوارزمية آدم (Adam) التي تهدد فعالية هذه التقنيات.

تظهر الأبحاث أن العديد من أساليب التعلم المستمر التي تعمل على تعديل التدرجات تتعامل مع خوارزمية آدم كمكون محايد، ولكن النتائج تكشف عن مشكلة غير مرئية تظهر في السيناريوهات ذات المجالات المتداخلة. في نموذج التعلم المستمر الذي يقيس ثمانية مجالات، يسقط كل أسلوب تعديل مشترك إلى مستويات بالقرب من النسيان التقليدي.

احتل نموذج استخدام ذاكرة إعادة التشغيل الذي يمثل 0.5% أقوى بديل مشترك، لكنه لم يتجاوز نتيجة 11.6، بينما انخفض الأداء مع استخدام تعديل قوة ثابت. بالمقابل، أظهرت الطريقة التكيفية التي تفصل بين اللحظات استقراراً ملحوظاً عند 9.4، مع تحسينات ملحوظة على الطرق التقليدية.

تُعزى هذه الأخطاء إلى مسار اللحظة الثانية (Second-Moment Pathway) في خوارزمية آدم، حيث تسبب التعديل في زيادة معدل التعلم الفعال بالشكل الذي يؤدي إلى نتائج غير مرغوب فيها. ومع ذلك، وضعت الأبحاث حلاً مبتكراً يقوم بتوجيه التدرجات المعدلة نحو اللحظة الأولى فقط، مع الحفاظ على إحصائيات اللحظة الثانية الدقيقة، مما يساهم في تحسين الأداء عبر عدة ممارسات.

في ختام هذا البحث، تظهر النتائج أن هذا التعديل البسيط هو الحل الفعال الوحيد الذي يمنع الانهيار عبر مجموعة من الطرق، المحسّنات، والحجم، مما يفتح المجال لمزيد من الاستكشافات في كيفية تحسين التعلم المستمر.