تشخيص الازدحام في عمليات الإرسال: مرصد عبر البنى المعمارية

تُعتبر عمليات الإرسال (dispatch operations) جزءًا حيويًا من تقنيات الذكاء الاصطناعي الحديثة، ولكنها غالبًا ما تُعاني من زحام خطير يؤثر على الأداء. في هذا السياق، تمثل تقنية AlltoAll المعوق الرئيس في التوازي القائم على مختصين MoE (Mixture of Experts). وردًا على هذه التحديات، تطور المجتمع الأكاديمي أربع أسر من الحلول: تخصيص العينات التنبؤية (predictive sample placement)، إعادة تنظيم المختصين التكيفية (adaptive expert relayout)، التجمعات الهيكلية (hierarchical collectives)، وتضاريس قائمة على وعي EP (EP-aware topology).

تناول هذا البحث الجديد، المعنون بـ DODOCO، اختبار الافتراضات الأساسية لهذه الحلول. يعتمد التنفيذ على خمسة نقاط تفتيش لمختصين MoE، يستند كل منها إلى تصميمات مختلفة. من خلال شبكة من الظروف البيانية، أظهرت النتائج أن كلا الافتراضين الرئيسيين يفشلان في تقديم الفهم الحقيقي للأداء.

تغيرت نسبة الرموز القصوى والمتوسطة لكل مختص بنسبة 5% كحد أقصى، ويظهر أن مشكلة الزحام ترتبط أساسًا بقرارات التوجيه التي يتخذها النموذج، وليس بكيفية هبوط المختصين على الرتب. بالإضافة إلى ذلك، تبين أن الرموز التجريبية تبالغ في تقدير تباين التوجيه، ما يبرز الخلط بين البيانات العشوائية والنصوص الحقيقية.

من المثير للاهتمام أن المعمارية الخمسة تتوزع إلى مجموعتين ثابتتين: الأولى تضم MHA وMamba-2، والتي أظهرت مقاومة أكبر لتغيرات البيانات، بينما المجموعة الثانية تشمل MLA وGDN التي كانت أكثر تركيزًا في البيانات.

باختصار، تقدم هذه الدراسة رؤى جديدة قد تعيد تشكيل تصميم عمليات الإرسال في أنظمة الذكاء الاصطناعي، مشددة على أهمية استخدام البيانات الحقيقية في تقييم أداء الشبكات.