في ظل انتشار استخدامات التعلم العميق في التطبيقات الحديثة، ينتج عن تدريب الشبكات العصبية عبر خسارة تنبؤ واحدة (مثل الانحدار التربيعي $L^2$ أو الانتروبيا المتقاطعة) تحديات كبيرة عند الانتقال إلى العمل الفعلي. إذ يبدأ الروبوت أو النموذج في اعتماد إشاراته الخاصة، مما يؤدي إلى ظاهرة تُعرف بالتغذية المرتدة في وقت الاختبار (Test-Time Feedback – TTF).

تتجلى هذه الظاهرة في التفاوت بين خسائر التدريب/التحقق ومعايير الأداء الهامة، مثل معدل نجاح المهمة وجودة التوليد، والتي تزداد سوءًا مع طول المهمة. ولقد تم اقتراح طرق متعددة مثل تنسيق البيانات وتصميم الأهداف لمواجهة هذه التحديات، ولكن الورقة البحثية الأخيرة قدمت بُعدًا جديدًا من خلال اعتماد تحسينات كاستراتيجية لمكافحة تراكم الأخطاء.

تأتي فكرة تحسين ثنائي تشغيل انسيابية (Double Preconditioning – DoPr)، حيث تجمع بين المعالجة المسبقة على مستوى التدرج، كما في أسلوب آدم (Adam) ومون (Muon)، مع معالجة الحالة النشطة، كما في KFAC.

تشير النتائج إلى أن إدخال المعالجة النشطة يساهم بشكل فعّال في تعزيز الأداء النموذجي في مجموعة متنوعة من إعدادات TTF. والغريب أن تلك الزيادات في الأداء لا تتطابق دائماً مع تحسينات في خسارة التحقق، مما يفتح نقاشات جديدة حول كيفية تقييم النماذج التي تم تدريبها باستخدام أهداف إشرافية ذات خطوة واحدة.

في ضوء هذه التطورات، أصبح من الضروري أن نقيم كيف يمكن تحسين أداء النماذج بشكل فعّال في ظل هذه الظروف المتغيرة. هل تعتقد أن تحسينات DoPr ستحدث ثورة في طريقة تقييم النماذج في المستقبل؟