في خطوة جديدة نحو تحسين كفاءة نماذج الذكاء الاصطناعي، قدم الباحثون في OmniMoE (أو نظام مزج الخبراء المتطور) مفهومًا جديدًا يهدف إلى رفع مستوى تفصيل الخبراء ضمن نماذج Mixture-of-Experts (MoE). يواجه تصميم MoE التقليدي تحديًا مزدوجًا، حيث يسعى لتحقيق تخصص أكبر للخبراء بينما يعيق الكفاءة التنفيذية. وهنا تأتي فكرة OmniMoE، التي تعيد النظر في كيفية تصميم هذه الأنظمة من خلال إدخال ما يُعرف بالخبراء الذريين (Atomic Experts) مما يسمح بتوجيه مرن وتنفيذ سهل ضمن طبقة واحدة من MoE.

عمل OmniMoE">كيفية عمل OmniMoE



يُعتبر OmniMoE نظامًا مُصممًا بعناية يجمع بين النظام والهيكل الهندسي، مما يجعل الخبرات أكثر تخصيصًا من قبل. تقدم هذه المنصة خوارزمية موجهة تقسم مساحة الفهرسة الكبيرة باستخدام "موصل المنتج الديكارتي"، مما يقلل التعقيد في التوجيه من O(N) إلى O(√N). كما تعتمد على جدولة موجهة نحو الخبراء لتحويل عمليات الوصول المتناثرة والتي تعتمد على الذاكرة إلى عمليات مصفوفة كثيفة فعّالة.

النتائج المحققة">النتائج المحققة



في اختبارات متعددة، ثبت أن نظام OmniMoE الذي يحتوي على 1.7 مليار معلمة نشطة، حقق دقة مقدارها 50.9% في استدلال مسبق عبر سبعة مقاييس مقارنة بتصاميم MoE التقليدية مثل DeepSeekMoE وPEER. وبفضل تصميمه الذري، تمكن OmniMoE من تقليل زمن الاستدلال من 73 مللي ثانية إلى 6.7 مللي ثانية، مما يمثل زيادة في السرعة بمقدار 10.9 مرة.

باختصار، تقدم OmniMoE مزيجًا مثيرًا من الدقة العالية والكفاءة العالية، مما يمنح الباحثين والشركات فرصة للاستفادة من حلول ذكاء اصطناعي أسرع وأكثر دقة. يمكن الوصول إلى الشيفرة المصدرية لنظام OmniMoE عبر رابط Github. هل أنتم مستعدون لاستكشاف إمكانيات الذكاء الاصطناعي المتقدمة؟ شاركونا آرائكم في التعليقات!