في عالم الذكاء الاصطناعي، تعتبر عملية مزج النماذج من الابتكارات المثيرة التي تجمع بين حلول مستقلة ذات قدرات مختلفة في حل واحد متكامل دون زيادة تكلفة الاستدلال. ولكن، ما هي الخصائص التي تجعل هذه العملية فعّالة؟

تتناول هذه الدراسة الجديدة المسألة من منظور جديد، حيث تبحث في كيفية تأثير الديناميات المرتبطة بالمحسن (Optimizer) على هندسة خسارة المزج (Loss Landscape Geometry) والنجاح في المزج. باستخدام تقنيات مثل التداخل الخطي (Linear Interpolation) والحساب المعقد (Task Arithmetic)، نتمكن من فهم العلاقة بين المحسن ونجاح المزج.

تظهر النتائج وجود كمية واحدة حاسمة تُعرف باسم 'مقياس الضوضاء الفعّالة' (Effective Noise Scale)، والتي تجمع تأثيرات مكونات مختلفة للمحسن على عملية المزج. وتبين أنه عبر مختلف النماذج والبيانات، يظل نجاح المزج وظيفة غير أحادية لـ 'مقياس الضوضاء الفعّالة'، وله قيمة مثالية متميزة.

المثير للاهتمام أن تطوير المعلمات مثل معدلات التعلم (Learning Rates) الكبيرة، والتقليل من الوزن (Weight Decay) القوي، وأحجام الدفعات الصغيرة (Small Batch Sizes) يزيد من تأثير 'مقياس الضوضاء الفعّالة'. تظهر النتائج أيضًا كيف تؤثر هذه الديناميات على المشهد العالمي للخسارة، مما يساعدنا في معرفة متى يمكن دمج الحلول المدربة بشكل مستقل بنجاح.

هذا الاكتشاف يفتح آفاقًا جديدة لفهم كيف يمكن أن تشكل عملية التحسين هندسة الخسارة وتأثيرها على مزج النماذج، مما يشير إلى أن ديناميكيات التدريب قد يمكن تعديلها بشكل أكبر لتتحسن فعالية المزج.