تعتبر نماذج الخبراء المختلطين (Mixture of Experts، MoE) واحدة من الاتجاهات المعمارية الرائدة في تدريب نماذج الذكاء الاصطناعي على نطاق واسع. وتلعب NVIDIA دوراً محورياً في تحسين هذه النماذج بفضل محركها الجديد Transformer Engine الذي يقوي من فعالية التدريب.

تعتبر DeepSeek وQwen وMixtral أمثلة بارزة للنماذج المعتمدة على تقنية MoE، حيث تمكنت من منافسة أو حتى تجاوز أداء نماذج الشبكات الكثيفة (Dense Models) ولكن بتكلفة تدريب أقل بكثير. تقدم نماذج MoE تدريباً فعالاً من خلال استخدام حسابات شرطية، حيث يتم استخدام شبكة واحدة فقط عند الحاجة بدلاً من شبكة تغذية أمامية كثيفة بشكل دائم.

الجدير بالذكر أن هذه التطورات لا تساعد فقط في تحسين الكفاءة، بل تؤدي أيضًا إلى اختصار الوقت اللازم لتدريب النماذج، مما يجعلها خياراً مثيرًا للباحثين والمطورين في مجال الذكاء الاصطناعي لتحقيق نتائج أفضل بأقل تكلفة.

هل تعتقد أن نماذج الخبراء المختلطين ستحدث ثورة في عالم الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات!