في عالم الذكاء الاصطناعي، تعتبر نماذج مزيج الخبراء (Mixture-of-Experts) حلاً فعّالاً يواجه التحديات المتعلقة بضخامة البيانات وكفاءة الأداء. ولكن، ما زالت هناك مشكلات كبيرة تتعلق بتكيف هذه النماذج بسبب وجود خبراء غير مفيدين وتوزيع موحد للموارد. هنا تأتي أهمية استراتيجية EPnG.

تعتمد استراتيجية EPnG على إطار عمل "التقليم والنمو المستند إلى الخبراء"، والذي يعيد توزيع سعة LoRA استنادًا إلى أهمية الخبراء التي يتم اشتقاقها من احتمالات بوابة الموجه. يتيح هذا للطريقة تقليص عدد الخبراء الذين لا يتم الاستفادة منهم، وزيادة حجم الخبراء ذوي الأهمية العالية من خلال نمو الترتيب مع التهيئة المتعامدة، مع الحفاظ على ميزانية ثابتة من المعلمات.

أظهرت التجارب أن EPnG، عند تطبيقها على نموذج OLMoE و Qwen1.5-MoE، تتفوق بشكل متكرر على الطرق التقليدية مثل LoRA مع الحصول على أداء مماثل للاستراتيجية الكاملة لتخصيص المعلمات، ولكن مع تحديث ما بين 0.55% إلى 0.72% فقط من المعلمات، أي ما يعادل توفير مذهل في الموارد يصل إلى 140x-180x أقل.

تعتبر هذه النتائج دليلاً قوياً على أن التنسيق بين طرق التخصيص ذات الكفاءة العالية ومميزات نماذج مزيج الخبراء (MoE) يتيح لنا الوصول إلى استراتيجيات دقيقة وفعّالة لتحسين الأداء. هل أنتم مستعدون لاستكشاف عصر جديد من الكفاءة في الذكاء الاصطناعي؟