شهدت نماذج الخبراء المتعددة (Mixture-of-Experts - MoE) تطورًا كبيرًا في الساحة التقنية، حيث تُعتبر هذه النماذج واحدة من اللبنات الأساسية لتوسيع نطاق نماذج اللغات الكبيرة (Large Language Models - LLMs) إلى حدود ترليونات المعلمات. تعتمد فعالية تنفيذ هذه النماذج على التنفيذ الموزع عبر وحدات معالجة الرسومات (GPUs) المتعددة، حيث تتضمن كل طبقة من MoE عمليتين مهمتين: إرسال الرموز إلى الخبراء وتلقي المخرجات من هؤلاء الخبراء.

وعادةً ما يتم تنفيذ هذه العمليات بشكل متسلسل مما يُظهر تأخرًا في الاتصال ويسبب تقليل استخدام GPU، ولكن الفريق البحثي قدم نهجًا مبتكرًا يتضمن تداخل المعالجة الخاصة بالخبراء مع عملية الاتصال، مما يسهم في رفع الكفاءة الكلية.

تمثل هذه الطريقة الجديدة تحسينات في نظام الاتصال عبر وقت الإشارات والتطبيقات الموزعة، حيث يعزز تصميم المنتج والمستهلك التفاعلات بين عمليات المعالجة وإدارة البيانات بشكل فعّال. وقد أُثبت هذا التركيب على منصة GPUs من نوع A100، حيث أظهرت التجارب تحسنًا يصل إلى 2.64 ضعف في السرعة العامة و2.74 ضعف في سرعة طبقات MoE. هذه النتائج تُبشر بإمكانيات هائلة لاستغلال الأنظمة المتعددة بشكل أكثر كفاءة مع المحافظة على دقة النتائج.