في عالم الذكاء الاصطناعي المتقدم، تسعى الفرق البحثية إلى تحقيق كفاءة أعلى في معالجة مهام متعددة باستخدام نماذج Mixture-of-Experts (MoE). ومع أن هذه النماذج تعتمد على حسابات شرطية لتوسيع قدرتها، إلا أن عملية الاستدلال الموزعة تعاني من تحديات التواصل بين وحدات GPU المعنية، مما يتسبب في عدم توازن الحمل الناتج عن عملية التوجيه.

لقد أظهرت الدراسات أن التواصل بين الخبراء يعتمد بشكل كبير على طبيعة المهام، حيث تتوافق بعض الأزواج من الخبراء في مجموعة معينة، ولكن قد تكون غير مرتبطة في مجموعة أخرى. ومن هنا، ظهرت الحاجة إلى إطار عمل يركز على تصنيف الخبراء حسب الاستجابة المدركة للمهام بدلاً من الاعتماد على معدل استخدام إجمالي.

نقدم لكم تقنية "تجميع التفاعل المدرك للمهام" (Task-Aware Coactivation Grouping - TACG) التي تعتمد على تتبع متخصص لتوزيع المهام وتحديد تفضيلات الخبراء حسب فئة المهام. تتيح هذه التقنية تحسين توازن الحمل وتقليل تكاليف التواصل، حيث تقارب تكاليف الاتصال بنسبة 31.39% عن المعايير السابقة مع الحفاظ على عدالة استخدام القوة (Jain fairness index) بمعدل 0.9975.

علاوة على ذلك، قمنا بتطوير "نسخ الخبراء العامة المشتركة" (Generic Expert Shared Replication - GESR)، وهي مكون خفيف يعمل على تحديد الخبراء الذين لديهم ملفات تعريف تفاعل مركزية مستقرة، مما يتيح نسخهم عبر مجموعة صغيرة من وحدات GPU الثانوية. تتضمن هذه العملية اختيارًا واعيًا لمواقع الخبراء أثناء تنفيذ المهام.

تظهر نتائج التجارب على ثلاثة نماذج مفتوحة المصدر أملاً واعدًا في تحسين كفاءة الأداء في أنظمة الذكاء الاصطناعي المعقدة. ما رأيكم في هذا التطور؟ كيف يمكن أن يؤثر على مستقبل الذكاء الاصطناعي لدينا؟ شاركونا في التعليقات!