في ظل التحديات التي تواجه نماذج اللغة الكبيرة (LLMs) من حيث متطلبات الذاكرة والمعالجة، يظهر الابتكار كحل مثير. القدرة على استخدام هذه النماذج في الأجهزة المنخفضة المواصفات كأجهزة الهواتف الذكية بدلاً من الاعتماد على وحدات معالجة الرسومات (GPUs) الضخمة، هي تطور يعد بتغيير قواعد اللعبة.

بدلاً من تطوير نماذج صغيرة من الصفر، يأتي الضغط على نماذج LLMs المُدربة مسبقاً كبديل جذاب. تعد عمليات الاقتطاع والتكميم من الوسائل المعروفة لخفض حجم النموذج، لكن هناك طريقة جديدة تتضمن البحث عن الهيكلية العصبية (Neural Architecture Search - NAS) التي توفر حلاً فعالاً. ومع ذلك، فإن الأساليب السابقة كانت تعاني من قيود في نطاق البحث وفصل الهيكلية عن التكميم، مما يكبح الابتكار في هذا المجال.

نقدم لكم إطار عمل NAS قابل للتفريق، يقوم باستكشاف كافة الفضاءات ويعمل على تحسين التكوينات الهيكلية جنباً إلى جنب مع التكميم ذو الدقة المختلطة للطبقات الخطية في LLMs. وتجاربنا أظهرت نتائج مذهلة، حيث حققت نماذجنا أداءً أسرع بواقع 1.4 مرة مقارنة بأساليب NAS التقليدية، مع الحفاظ على دقة مشابهة. بل وقد حققت نماذجنا زيادة في الدقة تصل إلى 6% عبر سبعة مهام تفكير عند نفس وقت الانتظار.

هذا التطور يمثل خطوة فارقة نحو استخدام أكثر كفاءة لنماذج اللغة الكبيرة، مما يتيح للعلماء والمطورين تخطي الحواجز الحالية.