في عالم الذكاء الاصطناعي، تعتمد العديد من التطبيقات على نماذج اللغات القوية مثل Mixture-of-Experts (MoE) التي تقدم قدرة عالية بتكلفة منخفضة لكل وحدة. لكنّ العمل على تخفيض تكلفة هذه النماذج التقليدية يتطلب ضغط مصفوفات الوزن المتعددة، وهو ما يمثل تحديًا كبيرًا.

تظهر الأبحاث الحديثة أنه لتحقيق ضغط فعال لهذه النماذج، يجب العمل بعناية لتجنب فقدان الدقة. تستخدم الطرق التقليدية مثل pruning (إزالة بعض الخبراء) ودمج الخصائص، لكن غالبًا ما تتضرر دقة النموذج وتتطلب إعادة تدريب النظام. من جهة أخرى، يواجه أسلوب decomposing (تحليل مكونات الخبراء) تحديات مماثلة، حيث تضعف الأداء مع زيادة عدد الخبراء.

ومع ذلك، يبدو أن هناك بارقة أمل جديدة في هذه المعادلة، حيث تم تقديم طريقة LorExperts التي تحافظ على الهيكل الأصلي للنموذج وتجمع بين الخبراء بطريقة فعالة. تعتمد هذه الطريقة على تجميع الخبراء في مجتمعات تكامل وظيفية مع الاحتفاظ بخبير واحد بدقة كاملة لكل تجمع، بينما يمثل باقي الأعضاء كتصحيحات منخفضة الرتبة.

تفيد النتائج الأولية من التطبيقات على نماذج مثل Qwen3-30B-A3B وGemma-4-26B-A4B أن LorExperts تحقق ضغطًا بنسبة حوالي 50% دون التأثير الكبير على دقة الأداء والـ perplexity (صعوبة النموذج). وبذلك تُقدم LorExperts واجهة جديدة لتحسين نماذج اللغة في الذكاء الاصطناعي والتقدم بها نحو مستويات أعلى من الكفاءة.

لكن الأمر لا ينتهي هنا، حيث تقدم هذه الدراسة أيضًا عملية إعادة ضبط دقيقة للتكييف باستخدام BTExperts، الذي يساهم في تنظيم الهياكل التفرعية للنموذج. هل سنشهد ثورة حقيقية في كيفية بناء وتطبيق نماذج اللغات؟ هذا ما ستكشف عنه الأيام المقبلة.