اندماج النماذج البايزية: ثورة في تعلم المهام المتعددة بدون إعادة تدريب!

في عالم الذكاء الاصطناعي، يُعتبر اندماج النماذج (Model Merging) خطوة ثورية تهدف إلى دمج نماذج تخصصية متعددة في نموذج واحد دون الحاجة لإعادة تدريب شامل، مما يزيد من كفاءة التعلم في حال كانت البيانات أو الموارد الحاسوبية محدودة. ومع ذلك، كانت التحديات التي تواجه هذه الطريقة تتمثل في نقطتين رئيسيتين:

1. **إغفال الانحياز الاستدلالي القوي للنماذج الأساسية**: حيث كانت الأساليب السابقة تستنتج الأوزان المدمجة من جديد، مما يؤدي إلى نتائج أقل فعالية.
2. **الاعتماد على إعدادات فرط المعلمات المشتركة**: وهو ما يفقد العمليات القدرة على التكيّف مع اختلافات المهام، مفقودًا بذلك استراتيجية تحسين عالمية.

هنا يتدخل **اندماج النماذج البايزية (Bayesian Model Merging)**. يقدم هذا الحل الإبداعي إطار عمل متعدد المستويات يتضمن:

- **المرحلة الداخلية**: حيث يتم تشكيل عملية الاندماج كنموذج انحدار بايزي معتمد على تنشيط متوسط مستند إلى نموذج مرجعي قوي، مما يؤدي إلى حل مغلق فعال.
- **المرحلة الخارجية**: تستخدم إجراء تحسين بايزي يبحث عن المعلمات الخاصة بكل وحدة بشكل عالمي، مما يعزز الأداء بناءً على مجموعة صغيرة من بيانات التحقق.

بالإضافة إلى ذلك، يكشف البحث عن توافق رئيسي بين إحصاءات التنشيط وبيانات المهام، مما يمكّن الفريق من تطوير نسخة مجانية من بيانات المساعدة من BMM التي تقدر مصفوفة غرام للانحدار بدون الحاجة لتوفر بيانات مساعدة.

عبر مجموعة واسعة من الاختبارات، بما في ذلك دمج يصل إلى 20 مهمة في مجالات الرؤية و5 مهام في اللغة، أظهر BMM أداءً متفوقًا على جميع النماذج الأساسية السابقة مثل TA وWUDI-Merging وTSV. على وجه الخصوص، في معيار ViT-L/14 لدمج 8 مهام، حقق نموذج مدمج واحد نتيجة 95.1، مما يقترب من الأداء المتوسط لثمانية نماذج خبراء محددة المهام (95.8).

هذا التطور المذهل يعيد رسم معالم تعلم الآلة، مما يبشر بمستقبل أكثر كفاءة وابتكارًا في تصميم نماذج الذكاء الاصطناعي. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.