في عالم الذكاء الاصطناعي، توفر نماذج اللغة المختلطة (Mixture-of-Experts) إمكانيات هائلة من خلال دعم التشفير المرن وزيادة سعة النموذج. ولكن، مع تزايد عدد معلمات الخبراء، ترتفع التكاليف الحسابية والتخزينية بشكل ملحوظ. هنا تبرز الحاجة إلى أساليب ضغط فعالة.

تقنيات الضغط التقليدية تعتمد في معظمها على التفكيك الثابت وتخصيص الرتبة الثابتة، مما يتجاهل الخصائص الفريدة لنماذج اللغة المختلطة. ولتجاوز هذه القيود، تم تطوير إطار ITC-MoE، الذي يُعتبر خطوة تقدمية نحو ضغط ذكي يتنبه لاحتياجات وديناميكيات البيانات.

يتكون نموذج ITC-MoE من مكونين رئيسيين. الأول هو ضغط تاكر التكيفي الموجه بأهمية (Importance-guided Adaptive Tucker Compression)، حيث يُدمج أهمية التفعيل والأوزان في تحويل أوزان الخبراء، مما يُحقق تفكيكًا مشتركًا عبر أوضاع متعددة.

أما الثاني، فهو التعويض الموجه بالرموز والتوجيه (Token-aware Compensation and Routing)، الذي يُطبق تعويضات ضعيفة الوزن للرموز الحارة ذات الأهمية العالية، مع تحديد مجموعة الخبراء المناسبة للرموز الباردة ذات الأنماط المركزة.

قد أفاد النموذج الجديد بتقليل ملحوظ للتكاليف الحسابية والتخزينية دون التضحية بجودة النموذج! فعلى سبيل المثال، حافظ ITC-MoE على دقة تصل إلى 96.33% على مجموعة بيانات MultiArith بتقليص قدره 30%، مع تحقيق تسريع يصل إلى 7.22 مرة.

لمن يرغب في تجربة هذا الابتكار، يمكنكم الوصول إلى الكود البرمجي المتاح على GitHub.