تعتبر تقنية Mixture of Experts (MoE) من الأدوات المتقدمة في عالم الذكاء الاصطناعي، حيث تهدف إلى تطوير نماذج لغوية ضخمة من خلال جعل تعقيد النموذج لا يتزايد بشكل خطي مع زيادة عدد المعلمات. وفي ضوء الدراسة الجديدة التي تم نشرها، تم تسليط الضوء على كيفية تحسين توزيع الحمل بين الخبراء الذين يتم اختيارهم لكل رمز يُعالَج، مما يسهل عملية التدريب ويعزز الأداء العام للنموذج.

على الرغم من الفوائد المذهلة لتقنية MoE، إلا أنه تم الكشف عن تحديات تتعلق بتقلبات تحميل الخبراء خلال عمليات التدريب، والتي قد تؤدي إلى تقليل الفعالية في استخدام الموارد. ومن خلال تتبع وتحليل أحمال كل خبير خلال عدة دورات تدريبية، تمكن الباحثون من تحديد حالتين: الحالة الانتقالية التي تتميز بتقلبات واضحة في الحمل، والحالة المستقرة التي تتميز بالتوزيع الزمني.

استنادًا إلى هذه المفاهيم، أطلق الباحثون ثلاثة خوارزميات تنبؤية كلاسيكية تمكنت من تقديم نتائج دقيقة في توقع أحمال الخبراء. على سبيل المثال، بالنسبة لنموذج GPT3 بحجم 350 مليون معلمة، كانت معدلات الخطأ التقديرية لحمل الخبراء في الخطوات التالية 1,000 و2,000 حوالي 1.3% و1.8% على التوالي.

تفتح هذه النتائج آفاقًا جديدة لتطبيق نماذج MoE بكفاءة أعلى، حيث تقدم إرشادات قيمة لآلية وضع الخبراء وتخصيص الموارد خلال التدريب. ومن المتوقع أن يُعرض الباحثون مخططًا مبتكرًا لPlacement الخبراء في الحالتين الانتقالية والمستقرة في أعمالهم القادمة.