في عالم الذكاء الاصطناعي، تعتبر [نماذج](/tag/نماذج) Mixture-of-Expert (MoE) من [النماذج المتقدمة](/tag/[النماذج](/tag/النماذج)-المتقدمة) التي تهدف إلى [تحسين الكفاءة](/tag/[تحسين](/tag/تحسين)-[الكفاءة](/tag/الكفاءة)) أثناء عملية الاستدلال، من خلال استخدام [عدد](/tag/عدد) أقل من الخبراء وتفعيل مجموعة معينة منهم لكل عنصر مدخل. ومع ذلك، فإن التحدي الذي يواجهه الباحثون هو كيفية توزيع هؤلاء الخبراء [عبر](/tag/عبر) [وحدات معالجة الرسوميات](/tag/وحدات-معالجة-الرسوميات) ([GPUs](/tag/gpus)) بشكل فعّال دون التأثير على [الأداء](/tag/الأداء).
تقديم نظام GEM، الذي يعني خريطة [خبراء](/tag/خبراء) مرنة تهتم بتنوع وحدات معالجة الرسوميات، يمثل خطوة متقدمة في هذا المجال. النظام يركز على [توزيع الأحمال](/tag/توزيع-الأحمال) بشكل غير متساوٍ بين وحدات المعالجة بناءً على تباين [أداء](/tag/أداء) كل وحدة. يأخذ [GEM](/tag/gem) بعين الاعتبار نوعين من الخبراء: الخبراء الثابتون، الذين يُستخدمون بشكل متكرر، والآخرون المؤقتون الذين يستخدمون في فترات محددة.
بدلاً من وضع كل الخبراء ذوي الاستخدام العالي على نفس وحدة معالجة الرسوميات، يقوم [GEM](/tag/gem) بتوزيعهم على وحدات مختلفة لتفادي الاختناقات الناتجة عن وجود [خبراء](/tag/خبراء) ثقيلين على وحدات بطيئة. وتُظهر [التجارب](/tag/التجارب) أن هذه الطريقة تسهم في تقليص زمن الاستجابة بنسبة تصل إلى 16.5% مقارنةً بالنماذج التقليدية.
تسهم هذه [الابتكارات](/tag/الابتكارات) في [تحسين التجربة](/tag/[تحسين](/tag/تحسين)-[التجربة](/tag/التجربة)) العامة لنماذج MoE، مما يسلط الضوء على أهمية [التفكير](/tag/التفكير) الديناميكي في توزيع الموارد. هل تعتقد أن طرقاً أخرى يمكن أن تُعزز من [أداء](/tag/أداء) مثل هذه [النماذج](/tag/النماذج)؟ شاركونا آرائكم في [التعليقات](/tag/التعليقات)!
نظام GEM: خريطة خبراء مرنة تدير تنوع وحدات معالجة الرسوميات في نماذج MoE
يقدم نظام GEM طريقة مبتكرة لتحسين أداء نماذج Mixture-of-Expert (MoE) عبر إدارة تباين وحدات معالجة الرسوميات (GPUs). باستخدام خوارزمية ذكية، يحقق النظام تقليصاً في زمن المعالجة بنسبة تصل إلى 16.5%.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
