اكتشاف أسرار نماذج الخبراء: كيف تعيد مواءمة التوجيه في رؤية الآلات

في عالم الذكاء الاصطناعي، تُعتبر نماذج خلط الخبراء (Mixture-of-Experts) محط أنظار الباحثين بفضل قدرتها الفائقة على تحليل البيانات. إلا أن فهم كيفية توجيه الفئات إلى الخبراء المختلفة ليس كافياً لفك رموز كفاءة هذه النماذج. في دراسة جديدة، تم تدريب نماذج MoE التي تعتمد على التفكك النادر باستخدام أهداف مقارنة (contrastive objectives) على الصور الطبيعية، ما ساهم في توضيح تخصص الخبراء باستخدام أدوات مستوحاة من علم الأعصاب البصري.

استندت الدراسة إلى عدة تحليلات من مستوى التوجيه إلى مستوى الخبراء، حيث قيست درجة فصل الفئات لكل خبير، بالإضافة إلى مواءمة كل خبير باستخدام أكثر المدخلات إثارة. كما تم توسيع الشرح من مستوى الفئات إلى المستوى الفني، حيث تم تفسير المواءمة من خلال الأبعاد الدلالية المستمدة من مجموعة بيانات تقييمات سلوك الإنسان (THINGS).

اُستخدمت تحليلات المواءمة وتقدير التشابه التمثيلي لفحص استقرار تخصيص الخبرات عبر عمليات تدريب مستقلة. كشفت النتائج أن التمييز بين الكائنات الحية وغير الحية يهيمن على تقسيم الخبراء، وهو ما تجلى بوضوح من خلال التوجيه وصولاً إلى قراءة الخبراء، وهذا الاستقرار لاحظ في النماذج المدربة بشكل مستقل. على الرغم من أن إحصائيات التوجيه تشير إلى تفضيلات فئات تصنيفية نادرة، تكشف تحليلات الخبراء عن مواءمة أوسع تجاه الأبعاد البصرية والدلالية المستمرة التي تتجاوز حدود الفئات.

تظهر الخبراء درجة فصل الفئات مشابهة لأخرى، على الرغم من اختلاف تمييز الخصائص، ما يبرز فوائد الانتقال من تحليلات مستوى الفئات إلى تحليل تخصص الخبراء. بشكل عام، تساهم هذه النتائج في توضيح أن تخصص الخبراء في نماذج MoE للبصر يتجاوز بكثير التوجيه الفئوي، ويتطلب فهماً أعمق من خلال استكشاف المواءمة الدقيقة وبنية التمثيل.