في عالم الذكاء الاصطناعي، يعد فعالية استخدام الموارد أحد العوامل الحاسمة لتحقيق أداء متفوق. ومن هنا، ظهرت تقنية جديدة تُدعى ReMoE، التي تستهدف تحسين الأنظمة القائمة على نماذج اللغات الضخمة (Large Language Models) من خلال تقديم إطار عمل لتحسين الروتر.

تتضمن النماذج الدقيقة للخلط بين الخبراء (Mixture-of-Experts - MoE) تفعيل مجموعة محدودة من الخبراء لكل وحدة، مما يقلل من التكلفة الحسابية مع الحفاظ على سعة النموذج العالية. ومع ذلك، تواجه هذه النماذج تحديات عند استخدام الذاكرة المحدودة في السيناريوهات القائمة على الاستدلال، حيث يُخزن عدد قليل فقط من الخبراء في الذاكرة، مما يتطلب جلب الخبراء غير المخزنين من تخزين خارجي بطيء مثل نظام التخزين الموحد (UFS).

يعالج ReMoE هذه المشكلة من خلال تحسين استراتيجية توجيه البيانات، حيث يُعزز استخدام الخبراء الذين تم اختيارهم مؤخرًا، مما يسهل عملية التوجيه الاستقراري ويدعم القيود المحلية للذاكرة. بفضل هذه التقنيات، نجح ReMoE في زيادة إعادة استخدام الخبراء بشكل ملحوظ بنسبة 26%، دون الحاجة إلى إضافة عمليات حسابية أثناء الاستدلال، مما يعزز من الكفاءة والأداء.

أظهرت التجارب على نماذج DeepSeek وQwen أن هذه التقنية تُحسن الإنتاجية بنسبة 8.4% في ظل ظروف معينة، كما خفضت زمن التحمل (TPOT) بنسبة تصل إلى 49.8% على منصة Jetson Orin NX، مما نتج عنه تسريع يصل إلى 1.99 مرة عبر مهام عمل متنوعة.

يمكن للمهتمين بالتقنية الجديدة الاطلاع على التعليمات والبيانات عبر الرابط: [رابط_المقال]. ما رأيكم في هذه التقنية؟ هل تعتقدون أنها ستغير من منهجيات تطوير الذكاء الاصطناعي؟ شاركونا في التعليقات!