تتطور تقنيات الذكاء الاصطناعي بوتيرة متسارعة، ومن بين أبرز التطورات مؤخراً هو مفهوم دمج النماذج (Model Merging) كوسيلة فعالة لتجميع حلول المهام المنفردة لإنشاء حل متعدد المهام بدون الحاجة لمزيد من التكييف المعتمد على البيانات (Data-driven Fine-tuning).

تقليدياً، كانت معظم الأساليب تستخدم الخصائص الهندسية (Geometric Properties) لفضاءات الحلول المحلية، لكن هذه المنظورات لم تقدم توجيهًا كافيًا لتقييم مدى فائدة كل اتجاه تحديث محدد بمهمة معينة أثناء عملية الدمج. هنا يأتي دور الاستنتاج الاحتمالي (Probabilistic Inference) كمنظور جديد لدمج النماذج، يتم ذلك من خلال نموذج يعتمد على تجميع الخبراء (Product-of-Experts) حيث يمثل كل حل لمهمة واحدة نموذجًا يعتمد على الطاقة (Energy-based Expert Model) عبر المعلمات المدمجة.

من خلال هذا النهج الجديد، تمكنا من توضيح أن العديد من طرق دمج النماذج الحالية تظهر كحالات خاصة من إطار عملنا، حيث تفرض تصاميم الطاقة فرضيات غير مباشرة على الاتجاهات المتبقية بين النماذج المدمجة وتلك الخاصة بالمهام. ولقد وجدنا تجريبياً أن هذه الاتجاهات المتبقية غالبًا ما تكون ثقيلة الذيل، مما يكشف عن عدم تطابق مع الهياكل الغاوسية الخفيفة المفروضة.

لذلك، قمنا بتطوير تصميم تجميع خبراء ثقيل الذيل بالاعتماد على خبراء كوشي (Cauchy Experts). هذا التصميم الجديد يمكنه التقاط سلوك المتبقيات الملاحظة بشكل أفضل مع ضمان إجراء استنتاج متقارب.

تظهر التجارب عبر عدة مهام وهياكل تحقيق تحسينات ملحوظة مقارنةً بالأساليب الرائجة في الوقت الحالي. لمزيد من التفاصيل، يمكنكم الاطلاع على الشيفرة البرمجية المتاحة على GitHub.

ما رأيكم في هذا التطور المذهل في دمج النماذج؟ اكتشفوا كيف يمكن أن يغير هذا النهج مشهد الذكاء الاصطناعي.