تشغيل ذاتي للخبراء: ثورة في توجيه نماذج التعلم العميق بدون معايير!

في عالم الذكاء الاصطناعي المتنامي، تظل نماذج مزيج الخبراء (Mixture-of-Experts MoE) واحدة من أبرز الابتكارات التي تمكن النماذج من توسيع قدرتها من خلال تفعيل مجموعة صغيرة فقط من الخبراء لكل رمز (token). غالباً ما تعتمد هذه النماذج على جهاز توجيه متعلم لربط الحالات المخفية بتعيينات الخبراء. لكن ماذا لو كانت هناك طريقة أفضل؟

تسلط ورقة بحثية جديدة الضوء على مفهوم "التوجيه الذاتي" (Self-Routing)، وهو آلية توجيه خالية من المعلمات تستخدم جزءً مخصصاً من الحالة المخفية للرمز مباشرةً كلوغاريتمات للخبراء، مما يلغي الحاجة تماماً لجهاز توجيه خارجي مع الاحتفاظ بالتكوين الآلي لبقية طبقة تجميع الخبراء.

تتمثل التجارب التي أُجريت على توجيه الذات في نمذجة اللغة عبر فئات خبراء مختلفة وأحجام نماذج متنوعة، بالإضافة إلى تصنيف ImageNet-1K. وقد قورنت النتائج مع جهاز توجيه متعلم ومعايير توجيه عشوائية وأخرى كثيفة غير معتمدة على مزيج الخبراء. وجدت النتائج أن توجيه الذات يبقى تنافسياً مع الأداء القياسي للجهاز المتعلم، بينما يحسن من استخدام الخبراء بشكل متوازن، حيث سجل زيادة تقارب 17% في متوسط تباعد التوجيه المقنن دون الحاجة إلى فقدان توازن الحمل الصريح.

وعلى صعيد تصنيف ImageNet-1K باستخدام نموذج DeiT-S/16، أظهر توجيه الذات تحسناً طفيفاً مقارنة بأداء الجهاز المتعلم. هذه النتائج تقترح أن التوجيه الفعال لنماذج مزيج الخبراء قد يتحقق من خلال تمثيل الحالة المخفية بحد ذاته، دون الحاجة إلى وحدة توجيه منفصلة متعلمة.

فهل نحن أمام عصر جديد في تصميم نماذج الذكاء الاصطناعي؟ شاركونا آرائكم حول هذه الابتكارات!