إعادة التفكير في طرق تقييم التدريب المعتمد: كشف جديد في عالم الشبكات العصبية

حققت الشبكات العصبية العميقة (Deep Neural Networks) تقدمًا ملحوظًا في العديد من مهام التعلم تحت الإشراف، لكنها لا تزال عرضة للتلاعبات المعادية (Adversarial Perturbations). تقدم تقنيات التحقق من الشبكة العصبية ضمانات رياضية للمتانة، إلا أن هذا يأتي بتكاليف حسابية كبيرة. لمواجهة هذه التحديات، تعتمد تقنيات التدريب المعتمد لزيادة متانة النماذج أثناء التدريب، مما يخلق توازنًا بين الدقة الطبيعية (Natural Accuracy) والدقة المعتمدة (Certified Accuracy) التي تتحكم بها معلمات معينة.

تكمن المشكلة في أنه عند الاعتماد على إعداد واحد للإبلاغ، يُمكن أن يؤدي ذلك إلى استنتاجات مضللة حول الأداء العام، مما يعيق التقييم العادل لحالة الفن في هذا المجال. لمواجهة هذا الوضع، تم تقييم طرق التدريب المعتمد من خلال مقارنات جبهة بارِتو (Pareto Front Comparisons) والتي تلقي الضوء على التوازن بين هذه الدقتين.

لضمان مقارنات عادلة ومستقلة عن الطريقة، قمنا بتنفيذ تحسين تلقائي متعدد الأهداف (Automated Multi-Objective Hyperparameter Optimization) لتحديد مجموعة من التكوينات المثلى على جبهة بارِتو لكل طريقة. هذه الاستراتيجية عادةً ما تكشف عن نقص كبير في ضبط الإعدادات التقليدية، مما يؤدي إلى تحسينات ملحوظة في الأداء ويتيح لنا تحديد حالة جديدة من التقدم.

من خلال تفعيل هذه الجبهات، نقدم أول مقارنة شاملة متعددة الأهداف لأساليب التدريب المعتمد، والتي تظهر أن التقدمات السابقة أقل بروزًا مما كان مفترضًا وتكشف عن تكاملات أداء غير مُبلغ عنها سابقًا.