في السنوات الأخيرة، أصبحت طبقات نماذج الخبراء (Mixture-of-Experts - MoE) حجر الزاوية في تطوير نماذج اللغات المتقدمة. ولكن، مع زيادة عدد الخبراء، يصبح استخدام الموجهات التقليدية مثل الموجه الخطي (linear router) عقبة كبيرة، حيث تؤدي تكلفة معالجة كل توكن إلى زيادة هائلة.

للتغلب على هذه التحديات، تم تقديم تقنية جديدة تُعرف باسم MoRE (Mixture of Rank-reduced-routed Experts). تعتمد MoRE على تفكيك مصفوفة أوزان الموجه إلى رتبة أقل، مما يقلل من تكلفة التوجيه المترتبة على عدد الخبراء. حيث تُظهر الأبحاث أن وجود رتبة لوغاريتمية يكفي للحفاظ على قدرة التوجيه عندما يكون عدد الخبراء النشطين ثابتًا.

هذه التقنية لا تعزز من ذاكرة النموذج فحسب، بل تتجنب أيضًا العمليات المكلفة على الذاكرة ذات النطاق العالي (HBM) من خلال تصميم نواة Triton ملتحمة أثناء عملية الاستدلال. وهذا يمكن أن يؤدي إلى تحقيق أداء أفضل في مهام الأسئلة والأجوبة المعتمدة على المعرفة بعد التدريب.

موارد MoRE تقدم صورًا أفضل لتقنيات الذكاء الاصطناعي، مما يشير إلى خطوات مستقبلية واعدة نحو المزيد من الكفاءة والفعالية. إذا كنت مهتمًا بالتفاصيل الفنية والتطبيقات السابقة، يمكنك زيارة GitHub للاطلاع على الشيفرة المصدرية.

ما رأيكم في هذه التطورات المذهلة؟ شاركونا في التعليقات.