تعتبر الموجهات (Routers) أحد المكونات الأساسية في نماذج Mixture-of-Experts، حيث تعمل كبروكسيات للخبراء، حيث تقوم الصفوف في مصفوفة الموجهات بحساب تشابهها مع مدخلات MoE لتحديد أي مجموعة من الخبراء يجب تفعيلها. ولكن، لطالما كانت هناك حاجة لتصميم يضمن تماسك هذه العملية.

في ورقتنا الجديدة، نقدم مفهوم إعادة تصميم موجهات Mixture-of-Experts باستخدام تقنية Manifold Power Iteration (MPI). نهدف من خلال هذه الطريقة إلى محاذاة كل صف من صفوف الموجهات مع الاتجاه الرئيسي (Principal Singular Direction) للخبير المرتبط. يوفر هذا الاتجاه وصفًا رياضيًا أكثر تعبيرًا لمصفوفة الخبراء.

تتضمن المنهجية الجديدة مفهومًا يُعرف بـ "Power-then-Retract"، حيث يُجرى خطوة تكرار القوة على أوزان الموجهات، يليها تقليص (Retraction) لفرض قيود قوامية، مما يضمن فعالية وثبات أكبر. النظريات تشير إلى أن MPI يقود صفوف الموجهات نحو الاتجاهات الرئيسية للخبراء المرتبطين.

وباعتماد نماذج MoE المختلفة من 1 مليار إلى 11 مليار معايير، قمنا بتأكيد أن هذا التوافق يعزز من فعالية نماذج Mixture-of-Experts، مما يؤدي إلى تحسين أداء الذكاء الاصطناعي في معالجة البيانات بشكل ملحوظ.