تشخيص الازدحام في عمليات الإرسال: مرصد عبر البنى المعمارية

تُعتبر [عمليات الإرسال](/tag/عمليات-الإرسال) (dispatch operations) جزءًا حيويًا من [تقنيات الذكاء الاصطناعي](/tag/[تقنيات](/tag/تقنيات)-الذكاء-الاصطناعي) الحديثة، ولكنها غالبًا ما تُعاني من زحام خطير يؤثر على [الأداء](/tag/الأداء). في هذا السياق، تمثل [تقنية](/tag/تقنية) AlltoAll المعوق الرئيس في التوازي القائم على مختصين [MoE](/tag/moe) ([Mixture of Experts](/tag/mixture-of-experts)). وردًا على هذه التحديات، [تطور](/tag/تطور) المجتمع الأكاديمي أربع أسر من الحلول: [تخصيص](/tag/تخصيص) العينات التنبؤية (predictive sample placement)، إعادة [تنظيم](/tag/تنظيم) المختصين التكيفية (adaptive expert relayout)، [التجمعات](/tag/التجمعات) الهيكلية (hierarchical collectives)، وتضاريس قائمة على [وعي](/tag/وعي) EP (EP-aware topology).

تناول هذا [البحث](/tag/البحث) الجديد، المعنون بـ DODOCO، اختبار الافتراضات الأساسية لهذه الحلول. يعتمد التنفيذ على خمسة نقاط تفتيش لمختصين MoE، يستند كل منها إلى [تصميمات](/tag/تصميمات) مختلفة. من خلال شبكة من الظروف البيانية، أظهرت النتائج أن كلا الافتراضين الرئيسيين يفشلان في تقديم الفهم الحقيقي للأداء.

تغيرت نسبة الرموز القصوى والمتوسطة لكل مختص بنسبة 5% كحد أقصى، ويظهر أن مشكلة الزحام ترتبط أساسًا بقرارات [التوجيه](/tag/التوجيه) التي يتخذها النموذج، وليس بكيفية هبوط المختصين على الرتب. بالإضافة إلى ذلك، تبين أن الرموز التجريبية تبالغ في تقدير تباين التوجيه، ما يبرز الخلط بين [البيانات](/tag/البيانات) العشوائية والنصوص الحقيقية.

من المثير للاهتمام أن [المعمارية](/tag/المعمارية) الخمسة تتوزع إلى مجموعتين ثابتتين: الأولى تضم MHA وMamba-2، والتي أظهرت [مقاومة](/tag/مقاومة) أكبر لتغيرات البيانات، بينما المجموعة الثانية تشمل [MLA](/tag/mla) وGDN التي كانت أكثر تركيزًا في [البيانات](/tag/البيانات).

باختصار، تقدم هذه [الدراسة](/tag/الدراسة) [رؤى](/tag/رؤى) جديدة قد تعيد تشكيل [تصميم](/tag/تصميم) [عمليات الإرسال](/tag/عمليات-الإرسال) في [أنظمة](/tag/أنظمة) الذكاء الاصطناعي، مشددة على أهمية استخدام [البيانات](/tag/البيانات) الحقيقية في [تقييم أداء](/tag/[تقييم](/tag/تقييم)-[أداء](/tag/أداء)) [الشبكات](/tag/الشبكات).