في عالم التعلم الآلي المتطور، تبرز الأمثلية الثنائية (Bilevel Optimization) كإطار تحليلي قوي لمعالجة المشاكل الهرمية. هذه الطريقة تتمحور حول تحسين تفاعلات مستويين من الأمثلية، مما يفتح أبواباً جديدة لتقنيات مثل ضبط المعلمات الفائقة (Hyperparameter Tuning) والتعلم المتكرر (Meta-Learning) والتدريب المضاد (Adversarial Training).

تعد بحث العمارة العصبية (Neural Architecture Search - NAS) دليلاً على فعالية هذه الاستراتيجيات، حيث يتم تحسين المعلمات المعمارية في المستوى الخارجي بينما يتم ضبط أوزان الشبكة في المستوى الداخلي. يقدم هذا المقال نظرة شاملة حول NAS من خلال عدسة الأمثلية الثنائية، ويصنف الأساليب الحالية إلى فئتين رئيسيتين: الطرق المبنية على المعاينة (Sampling-based Methods)، التي تبحث عن المعماريات المثلى باستخدام عينات معمارية مختلفة، وطرق مبنية على نظرية الأمثلية الثنائية (Bilevel Theory-based Methods)، التي تحل مشكلة بحث العمارة باستخدام مبادئ الأمثلية الثنائية.

تسعى أبحاثنا الحالية إلى معالجة تكوين NAS عبر إطار برمجي رياضي مساعد، مما يمكن من دمج المعلومات الثانوية من دالة فقدان التدريب للنموذج. هذا يضمن تحسينات مثلى في معلمات النموذج في حين يتم تعديل معلمات العمارة. من خلال تحديث المعمارية ومعلمات النموذج في آن واحد على طول اتجاهات النزول المثلى المستمدة من البرنامج الرياضي المساعد، يمكن لهذه الطرق تحقيق نتائج أكثر دقة ومتسقة من الناحية النظرية. كما يمكن استخدام نفس البرنامج المساعد لضبط المعلمات الفائقة وتحسين النموذج بالتزامن.

أظهرت التحليلات المقارنة أن الطرق المبنية على نظرية الأمثلية الثنائية تتفوق بشكل عام على الطرق المعتمدة على المعاينة في كفاءة الأداء والدقة. هل ستؤثر هذه النتائج على مستقبل البحث في العمارة العصبية؟ تابعونا لمزيد من التفاصيل!