تُعتبر نماذج اللغة المعتمدة على مجموعة من الخبراء (Mixture-of-Experts أو MoE) من أبرز الابتكارات في مجال الذكاء الاصطناعي، لكن غالبًا ما تواجه هذه النماذج تحديات فيما يتعلق بالذاكرة وسرعة المعالجة. هنا تأتي أهمية الابتكار الجديد تحت مسمى MaskCoFT، والذي يُعد طفرة في طريقة ضبط نماذج اللغة.

يستخدم هذا الأسلوب تقنيات متطورة للتقليل من الحمل المعرفي على وحدات المعالجة الرسومية (GPUs)، حيث تعتمد الفكرة على تخزين معظم الخبراء في الذاكرة الأساسية، وإعادة تحميلهم حسب الحاجة، مما يؤثر مباشرة على سرعة فك الرمز المعتمد على عدد الخبراء الذين يتطلب الأمر استدعائهم لكل رمز جديد.

تتميز MaskCoFT بأنها لا تكتفي بتعديل عملية التوجيه، بل تتيح أيضًا للتطبيقات التكيفية (adaptive applications) الخبراء أن تتكيف مع الرموز الموجهة إليها. من خلال استخدام قناع ثنائي (binary mask) يُركز التوجيه الفائق لكل طبقة على مجموعة فرعية من الخبراء، مما يُزيد من الفعالية ويُقلل من الوقت المستغرق لكل إخراج.

تشير الأرقام إلى أن MaskCoFT قد قللت من عدد استدعاءات الخبراء لكل رمز بمعدل 23.7% و10.1% مقارنة بالنموذج الأساسي. كما أن في أنظمة التحميل الفعلية، قللت من الوقت المستغرق لكل رمز خروجي بما يصل إلى 16.4% و5.5%. وعلى صعيد الدقة، حافظت متوسط دقة الأداء على نسبة زيادة إيجابية عن النموذج الأساسي بمعدلات تُقدّر بـ 0.92 و0.53 نقطة على التوالي.

إن MaskCoFT ليست مجرد تقنية جديدة، بل هي خطوة نحو تحسين الكفاءة والأداء في مجال الذكاء الاصطناعي، وجعل نماذج اللغة أكثر فعالية في معالجة البيانات الضخمة. هل أنتم مستعدون لاستكشاف كيف يؤثر هذا الابتكار على تعاملاتنا المستقبلية؟ شاركونا آرائكم في التعليقات!