في عالم الذكاء الاصطناعي، لا تزال التخصصات الخبيرة في [نماذج](/tag/نماذج) Mixture-of-Experts ([MoE](/tag/moe)) غامضة بالنسبة للكثيرين. لكن بما أن [التخصص](/tag/التخصص) يعد أحد الأبعاد الأساسية في [تصميم](/tag/تصميم) هذه النماذج، قامت مجموعة من [الباحثين](/tag/الباحثين) بتقديم DBES، وهو إطار تشخيصي مبتكر يهدف إلى [تقييم](/tag/تقييم) ذلك بشكل نظامي. يجمع DBES بين مقياس متعدد المجالات ومجموعة من خمسة [مقاييس](/tag/مقاييس) نظرية، تشمل:
- [تخصص](/tag/تخصص) [التوجيه](/tag/التوجيه) (Routing Specialization)
- الترتيب الفعال الطبيعي (Normalized Effective Rank)
- عزل المجالات (Domain Isolation)
- معدل صلابة [التوجيه](/tag/التوجيه) (Routing Stiffness Score)
- [مقاييس](/tag/مقاييس) خبرة ن-جرام (N-gram Expertise measures)
[تقارير](/tag/تقارير) [الباحثين](/tag/الباحثين) أظهرت وجود [نماذج](/tag/نماذج) [تخصص](/tag/تخصص) واضحة بين مختلف الأنظمة؛ فقد أظهرت سلسلة [Qwen](/tag/qwen) تخصصًا نمطيًا مع عزل عالٍ بين المجالات، بينما لجأت [نماذج](/tag/نماذج) مثل [DeepSeek](/tag/deepseek) وGLM إلى [التعاون](/tag/التعاون) الموزع. ومع ذلك، يؤكد الباحثون أن [التخصص](/tag/التخصص) يعد بُعدًا تشخيصيًا ضروريًا، ولكنه ليس كافيًا لضمان [الأداء الفعال](/tag/[الأداء](/tag/الأداء)-الفعال).
الأمر الأكثر أهمية هو الدليل التدخلي الذي يثبت فاعلية هذه المقاييس: باستخدام DBES لتحديد مسارات الخبراء ذات [التخصص](/tag/التخصص) العالي أثناء [التدريب](/tag/التدريب) بعد المرحلة، تم [تحقيق](/tag/تحقيق) [تحسينات](/tag/تحسينات) مذهلة تتراوح بين 66% إلى 94.48% في المجالات المتخصصة، وذلك باستخدام فقط 15% من [موارد](/tag/موارد) [التدريب](/tag/التدريب) الأصلية. إن هذه [الأدوات](/tag/الأدوات) التشخيصية تقدم إمكانية تحويلها إلى [مشغلين](/tag/مشغلين) لتحسين ملموس.
يعد [هذا العمل](/tag/هذا-العمل) بمثابة المنهجية النظامية الأولى لتقييم [التخصص](/tag/التخصص) الخبير بشكل مستقل عن [مقاييس](/tag/مقاييس) الدقة، مما يتيح [رؤى](/tag/رؤى) هامة لتصميم وتحسين ما بعد [التدريب](/tag/التدريب) في الأنظمة التالية من [نماذج MoE](/tag/[نماذج](/tag/نماذج)-moe).
DBES: نظام مبتكر لتقييم التخصصات الخبيرة في نماذج Mixture-of-Experts
تمثل DBES نظامًا شاملًا لتقييم التخصصات الخبيرة في نماذج MoE، حيث يوفر مقاييس متعددة معززة بالأدلة لتحسين الأداء. هذه الأداة الجديدة تعكس التخصصات المتنامية وتعيد تشكيل مستقبل نماذج الذكاء الاصطناعي.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
