في السنوات الأخيرة، أصبحت تقنيات دمج النماذج (Model Merging) محط اهتمام كبير، حيث تهدف إلى دمج نماذج مختلفة تم تدريبها بشكل مستقل لتجمع بينها القدرات المختلفة. تعتبر هذه التقنيات مهمة جداً خاصة مع ظهور اتجاهات جديدة في التعلم الموزع (Distributed Learning) التي تشمل أساليب مثل SGD المحلي (Local SGD) وDiLoCo، التي تساهم في تقليل تكاليف الاتصال بشكل كبير من خلال تجميع نماذج محلية تم تدريبها بشكل مستقل.

على الرغم من فوائدها، فقد أظهرت الدراسات أن هذه الأساليب الفعالة في الاتصال تميل إلى الانخفاض في الأداء مقارنةً بالمقياس الذهبي للبيانات الموزعة (Data-Parallel Gold Standard)، خاصة عند زيادة عدد النماذج المحلية المستقلة وعدد الخطوات التدريبية المحلية قبل التواصل العالمي.

تقدم الدراسة الحالية تشبيهاً تشخيصياً بين خطوة تجميع التدرجات الزائفة (Pseudo-Gradient Aggregation) في Local SGD وDiLoCo ودمج النماذج القائم على العمليات الحسابية للمهام، مما يوفر طريقة بسيطة لاستخدام تقنيات الدمج في سياق تحسين موزع. تم تقييم عدة تقنيات دمج نماذج متطورة للغاية في هذا الإطار، وتم تحديد طريقة معينة، وهي Iso-C، كطريقة واعدة لتحسين أداء DiLoCo.

أظهرت النتائج أن DiLoCo SGD مع تجميع Iso-C يتفوق ليس فقط على المتوسط البسيط للتدرجات الزائفة، بل وأيضاً على DiLoCo القائم على العزم، على الرغم من افتقاره لنظام العزم. بناءً على هذه النتائج، اقترح الباحثون IsoLoCo، وهو تعديل لـ Iso-C ليتوافق مع التدريب الموزع، من خلال تزويده بعزم Nesterov.

أظهرت التقييمات التجريبية التي أجريت على نماذج لغوية متعددة أن IsoLoCo يتفوق بشكل كبير على DiLoCo، مع اتساع الفجوة بينهما مع تزايد عدد العمال المحليين. هذا التقدم كان ثابتًا على أحجام النماذج المختلفة وأعداد الخطوات الداخلية، مما يؤكد أن استراتيجيات التجميع الملهمة من الدمج هي طريقة فعالة لتدريب موزع ذو اتصالات منخفضة.