تأتي نماذج مزج الخبراء (Mixture-of-Experts) كواحدة من أبرز الابتكارات في مجالات الذكاء الاصطناعي، حيث توفر تدريبًا مسبقًا فعالًا وزمن استجابة منخفض. ومع ذلك، تعاني هذه النماذج من كم هائل من المعلمات التي تؤدي إلى زيادة في استهلاك الذاكرة. ومع تزايد الضغوطات على الموارد، تحوّل الباحثون إلى التفكير في استراتيجيات ضغط فعالة لتحقيق كفاءة أعلى.

ركزت الأبحاث الأخيرة على الاستراتيجية المعروفة باسم تقليم الخبراء (Expert Pruning)، التي أثبتت تفوقها على أساليب الدمج التي كانت تُعتبر الأفضل سابقًا. وُجد أن عملية الدمج قد تسبب أخطاء غير قابلة للتقليل نتيجة لفقدان السيطرة الدقيقة على توجيه الخبراء.

أحد أبرز الابتكارات في هذا المجال هو نظام "Tقليم خبراء تفعيل بوابات الموجه" (Router-weighted Expert Activation Pruning - REAP)، الذي يُعتبر معيارًا جديدًا في ضغط الخبراء. يعتمد هذا النظام على تقييم كل من قيم بوابات الموجه ومعايير تفعيل الخبراء لتحقيق أدنى حد من الأخطاء في إعادة البناء.

وأثبتت التجارب على مجموعة متنوعة من نماذج Mixture-of-Experts التي تحتوي على ما بين 20 مليار إلى 1 تريليون معلمة أن REAP يتفوق باستمرار على أساليب الدمج وغيرها من وسائل التقليم، لاسيما عند تحقيق نسبة ضغط تصل إلى 50%. والأكثر إثارة للإعجاب أن هذه الطريقة ساهمت في تحقيق ضغط شبه معدوم الفاقد في مهام توليد الأكواد، مثل نماذج Qwen3-Coder-480B وKimi-K2، حتى بعد تقليم 50% من الخبراء.

هذا الاكتشاف الجديد يعد بتوجيه مستقبل نماذج الذكاء الاصطناعي نحو مزيد من الكفاءة والفعالية، وفي حال استمر التقدم في هذا المجال، فسوف نشهد تحولات جذرية في كيفية تصميم وبناء هذه الأنظمة الذكية.