أصبح الذكاء الاصطناعي (AI) يتطور بشكل مذهل في السنوات الأخيرة، خاصة في مجالات معالجة اللغة الطبيعية. من بين الابتكارات المثيرة في هذا المجال، تأتي نماذج Mixture-of-Experts (MoE) التي تعتمد على استخدام خبرات متعددة لتحسين الأداء. ولكن، كيف يمكن تحسين أداء هذه النماذج دون الحاجة إلى بيانات المعايرة المعقدة؟ الإجابة تأتي مع تقنية جديدة تُسمى 'Generic TB-Coverage'.

تعمل هذه التقنية على تقليل الاعتماد على البيانات الموسعة للتقويم، حيث تعتمد على مجلدات نصية عامة مثل WikiText2 وC4. بدلاً من دمج فائدة كل خبير في درجة واحدة، تقوم 'Generic TB-Coverage' بتحليل فائدة كل خبير بشكل منفصل وتطبيق قاعدة تغطية ذات ميزانية ثابتة. هذا يضمن الحفاظ على الخبرات ذات الفوائد العالية من كل مجموعة بيانات قبل إنشاء القناع النهائي.

الأداء المحسن لهذه التقنية يبدو واضحًا، خصوصًا عندما تم اختبارها على نماذج Qwen1.5-MoE-A2.7B وDeepSeek-MoE-16B-Base. عبر تطبيق ميزانيات احتفاظ بنسبة 25% و50% و75%، أثبتت التقنية الجديدة قدرتها على تحسين الدقة بوضوح على ستة معايير شائعة، مما يتجاوز الطرق التقليدية مثل تقليص الخبرات العشوائي أو استخدام تقنيات مثل REAP وExpertSparsity. علاوة على ذلك، أظهرت نتائج التحليل انخفاضًا في تدهور التعقيد على WikiText2 وC4، مما يدل على فعالية أكبر في توازن الأداء مع جودة المعلومات.

الأفضل من ذلك، فإن التحسينات التي تم تحقيقها صمدت حتى مع وجود ميزانيات تقليص ثابتة وبدون الحاجة إلى بيانات معايرة لاحقة، مما يجعل 'Generic TB-Coverage' إنجازًا هائلاً يفتح آفاقًا جديدة في مجالات الذكاء الاصطناعي.