في عالم الذكاء الاصطناعي، يعد دمج النماذج المتعددة مهارة حيوية تضمن تقديم أفضل أداء للمهمة. لكن، هل تساءلت يومًا ما إذا كنا ندمج النماذج بالطريقة الصحيحة؟ أطلق باحثون دراسة جديدة يُلقي الضوء على تأثير مدة تدريب نماذج الخبراء على جودة النموذج المدمج.

تواجه فرق البحث تحديًا يتمثل في الجمع بين نماذج الخبراء التي تم تدريبها بشكل منفصل، وتوحيدها في نموذج واحد قادر على التعامل مع جميع المهام دون الحاجة إلى تدريب مشترك. التقليد السائد يقضي بدمج النماذج في نقطة فقدان النموذج المثلى، لكن هذه الدراسة تتحدى هذا الدليل.

أجرى الباحثون تجربة شاملة حيث قاموا بتدريب نماذج خبراء في خمسة مجالات: الرياضيات (Math)، البرمجة (Code)، تنفيذ التعليمات (Instruction Following)، التطبيقات متعددة اللغات (Multilingual)، والسلامة (Safety). استخدموا ثلاثة أحجام نموذجية: Qwen 3.5 0.8B، 2B، و4B، وقاموا بالاحتفاظ بنقاط التفتيش من 25% إلى 500% من فترة التدريب المثلى، وتم تقييم خمس طرق دمج في كل مدة.

النتائج كانت مذهلة، حيث كشفت عن نمط واضح يعتمد على الطريقة: متوسطات بسيطة تدهور بشدة عند الإفراط في التدريب، بينما حققت طرق المبنية على التخفيف أفضل أداء بعد فترة طويلة من المعدل الأمثل لفقدان النموذج. وبهذا، قامت الدراسة بتعزيز فهمنا لكيفية دمج النماذج من خلال تحليل التحيز والتباين.

تشير هذه النتائج إلى أن مدة التدريب والطريقة المستخدمة في الدمج يجب أن يتم اختيارهما معًا بدلاً من الاعتماد على كل منهما بشكل مستقل. إن دمج النماذج يتطلب التفكير الدقيق، ويعكس أهمية العلاقة بين التدريب والممارسات المثلى لتحقيق الأداء العالي.