في ظل التطور السريع في ميدان الذكاء الاصطناعي، تسلط الأضواء اليوم على تقنية جديدة مبتكرة تُعرف بتحويل نماذج مخلوط الخبراء (Mixture-of-Experts - MoE) إلى نماذج لغوية كثيفة (Dense Language Models). تُعد نماذج مخلوط الخبراء حاليًا هي المعمارية المهيمنة في نماذج اللغات الأمامية، ولكنها تواجه تحديًا كبيرًا بسبب حاجة جميع معلمات الخبراء إلى الذاكرة.

العملية التقليدية لضغط النماذج كانت تتضمن تقليل عدد الخبراء، لكن النتيجة ظلت كما هي، مما يعني بقاء قيود الأداء. من جهة أخرى، قدم الباحثون إطار عمل منهجي لتحويل نموذج المخلوط المدرب إلى هيكل كثيف كامل. حيث يتم تصنيف الخبراء، اختيارهم وتجميعهم، ثم دمجهم في شبكة تغذية أمامية كثيفة (Dense Feedforward Network) وتحسينها بواسطة تقنيات تقطير المعرفة (Knowledge Distillation) من النموذج الأصلي.

أظهرت التجارب على مجموعة متنوعة من النماذج مثل Qwen3-30B-A3B نتائج إيجابية، حيث تم تقييم 7 أساليب مختلفة للتقييم و5 أساليب للتجميع. وقد أثبتت الأساليب الجديدة مع وعي التنوع في التقييم تفوقها على الطرق التقليدية، كما أسفرت المقارنات الموضوعية في الأعداد المطابقة من المعلمات عن تفوق نموذج التحويل من مخلوط الخبراء إلى الكثيف بنحو 6.3 نقطة مئوية في دقة التوجهات بعد ~4 مليارات توكن من عملية التقطير.

باختصار، يمثل هذا التطور خطوة هائلة نحو إتاحة نماذج لغوية أكثر كفاءة وفعالية، مما يفتح أفقًا جديدًا لتطبيقات الذكاء الاصطناعي في مستقبلنا القريب. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.