تشير ظاهرة الانخفاض المزدوج (Double Descent) التي تم توضيحها في ورقة بحثية جديدة، إلى ظاهرة غير تقليدية تتمثل في تغير نسبة الخطأ في اختبار نموذج الذكاء الاصطناعي (AI) عند زيادة عدد المعاملات (parameters). فقد لوحظ أن نسبة الخطأ تنخفض أولًا، ثم تصل إلى ذروتها عندما يستطيع النموذج تمامًا ملائمة بيانات التدريب، بعدها تنخفض مجددًا، مما يساهم في فهم أعمق لتفاعلات النماذج.

تعمل هذه الظاهرة كمرآة تعكس فهمنا التقليدي لكيفية أداء النماذج، حيث تفسر الورقة هذا التغير من خلال ميكانيكا النظم الإحصائية. وفقًا لهذا النموذج، تستكشف العمليات العشوائية للنماذج التي تعتمد على خوارزمية الانحدار العشوائية (stochastic gradient-based methods) عن طريق تجوال جزء مادي فوق مشهد طاقة الفقد أثناء التدريب عند درجة حرارة معينة (T).

تشير النتائج إلى أن أوقات التدريب المحدودة تؤدي إلى تباطؤ في انتشار المعاملات، مما يجعل لكل معامل وزن فعال يتراجع (effective weight decay). ويقترح هذا التحليل أن الأسس الإحصائية مثل نظرية توزيع الطاقة (equipartition theorem) تعكس توزيع الطاقة بين المعاملات بشكل متساوي، مما يؤدي إلى تقليل درجة الحرارة وزيادة تنظيم الوزن (weight regularization) مع زيادة عدد المعاملات.

ببساطة، كلما زاد عدد المعاملات، انخفضت إمكانية الحصول على حلول ذات أبعاد كبيرة، مما يعكس أهمية تنظيم الأوزان في تطوير نماذج فعالة.

ما رأيكم في هذه الظاهرة وتأثيراتها على النماذج المستقبلية؟ شاركونا في التعليقات!