في ظل تزايد الاعتماد على نماذج اللغات الكبيرة (Large Language Models)، يترافق ذلك مع الحاجة إلى تحسين استغلال الموارد المطلوبة لتدريبها. تتطلب بيئات النشر المتنوعة تكييفاً يتناسب مع القيود الحاسوبية المختلفة، مما يجعل جهود التطوير والتكيف أمراً بالغ الصعوبة.

وفي هذا السياق، تم تقديم ورقة بحثية مبتكرة تقدم إطار عمل موحد يجمع بين الهياكل المرنة والنماذج ذات البوابات الجزئية، مما يسمح للنماذج بالتكيف في نفس الوقت مع قيود النشر ومتطلبات المهام.

يقوم أسلوبنا بتوظيف هيكل أساسي للنموذج يتجاوب مع كلاً من السياق ومعايير الكفاءة المستهدفة، مما يتيح تحكماً دقيقاً في الميزان بين الدقة والكفاءة خلال مرحلة الاستدلال. ويتعلم النموذج تفعيل المعلمات ذات الصلة بالمهام ضمن شبكات فرعية متداخلة بشكل مرن، مما يتيح لنموذج واحد تغطية نقاط سعة متعددة مع الحفاظ على توجيه متكيف للمخرجات.

تم إثبات فعالية هذه التقنية من خلال تجارب متعددة، حيث أظهرنا قدرتنا على إنشاء نموذج يتيح استخدام ما بين 1 و4 مليارات معلمة، مما يجعل أداءه أكثر دقة بنسبة تتراوح بين 2-5% بالمقارنة مع النماذج التقليدية، مع تحقيق أوقات استجابة مماثلة للنماذج الكثيفة.

من خلال هذه الابتكارات، يمكننا توفير مساحة تخزين للأجهزة وتقليل متطلبات الذاكرة، مما يسمح بإطلاق النماذج عبر أجهزة ذات قدرات درامية وحسابية مختلفة. بالتالي، فإنه يمكننا توجيه مسار تطوير الذكاء الاصطناعي نحو الأفضل.