في عصر الذكاء الاصطناعي، تسعى نماذج Mixture-of-Experts (MoE) إلى تعزيز كفاءتها من خلال تنشيط مجموعة صغيرة من الخبراء فقط لكل إدخال. ومع ذلك، لا تزال تطبيقاتها الواسعة محدودة بسبب الحجم الكبير لذاكرة تخزين معلمات كل خبير، خاصةً مع زيادة عددهم.

لتجاوز هذه العقبة، تقدم الأبحاث السابقة استراتيجيات تصفية ودمج للخبراء، إلا أن هذه الطرق غالبًا ما تعاني من انخفاض في الأداء عند استخدام سرعات ضغط عالية. في هذا السياق، يظهر PuzzleMoE كطريقة جديدة لا تحتاج إلى تدريب، تُحقق كفاءة عالية في ضغط نماذج MoE من خلال ابتكارات رئيسية.

أولاً، تقوم PuzzleMoE بتنفيذ دمج خبير منخفض الكثافة من خلال تحديد تكرار الوزن والنزعة لتخصص العناصر. تستخدم هذه الطريقة نظام قناع مزدوج لالتقاط كل من المعلمات المشتركة والخاصة بالخبراء. ثانياً، لتفادي المتطلبات الزائدة المتعلقة بتخزين الأقنعة الثنائية والإشارات، تقدم PuzzleMoE نظام تشفير ضغط يستخدم بتات الأس exponent غير المستغلة، مما يتيح استنتاج MoE بشكل فعال على وحدات معالجة الرسوميات (GPUs).

تظهر التجارب الشاملة أن PuzzleMoE يمكنها ضغط نماذج MoE بنسبة تصل إلى 50% مع الحفاظ على دقة عالية في مختلف المهام، حيث تتفوق في الأداء على طرق ضغط MoE السابقة بنسبة تصل إلى 16.7% على اختبارات MMLU عند نسبة ضغط 50%، وتحقق زيادة في سرعة الاستنتاج تصل إلى 1.28 مرة.