في عالم الذكاء الاصطناعي، يُعتبر دمج النماذج (Model Merging) من أكثر الطرق الإبداعية لبناء نماذج لغوية ضخمة متعددة المهام (Multi-Task Large Language Models) دون الحاجة لإعادة تدريب كامل للنموذج. ومع ذلك، كانت هناك تحديات عديدة تتعلق بتداخل المعلمات (Parameter Interference) التي تؤثر سلباً على أداء النموذج. هنا تأتي أهمية الدراسة الجديدة التي نشرت على arXiv تحت اسم CoMerge.

تقدم CoMerge إطار عمل مبتكر يعتمد على تحسين التفضيلات المدفوعة بالنزاعات (Conflict-Driven Preference Optimization). بدلاً من الاعتماد على الطرق التقليدية التي تحاول الحفاظ على قدرات النماذج الفردية، تستخدم CoMerge استراتيجية ذاتية الإشراف تعتمد على التعلم من الأخطاء التي تعاني منها طرق الدمج الساذجة، مثل عملية الجمع المهام.

تعتمد هذه الاستراتيجية على إنشاء أزواج من التفضيلات دون الحاجة إلى بيانات خارجية، مستغلةً الأخطاء كعينات سلبية صعبة. بفضل تحسين التفضيلات، تتمكن CoMerge من توفير نماذج أخف وزناً مع معاملات دمج تعتمد على مكونات المعلمات، مما يساهم في تقليل النزاعات مع الحفاظ على القدرات الخاصة بكل مهمة.

أظهرت التجارب أن CoMerge حققت متوسط أداء مُعدل يبلغ 0.9968 على MergeBench، متفوقةً على جميع الأساليب التقليدية للدمج. وعلاوة على ذلك، على نموذج Llama-3.1-8B-Instruct، تحققت تحسينات ملحوظة في المهام الحساسة مثل متابعة التعليمات والسلامة، مما يجعلها تنافس بشكل قوي نماذج التعديل الكامل رغم تحسينها فقط لـ 1,445 معامل رياضي.

في النهاية، تُعتبر CoMerge خطوة كبيرة نحو تحسين دمج النماذج الذكية. هل تجدون أن هذا التقنية الجديدة ستغير من كيفية بناء النماذج المتعددة المهام؟ شاركونا آراءكم في التعليقات!