تتميز نماذج اللغات الضخمة (Large Language Models) بأدائها العالي عبر مجموعة متنوعة من المهام، لكن نشرها يبقى مكلفًا بسبب متطلبات الذاكرة والكمون والطاقة. ومن هنا تظهر أهمية تقنيات تقليص النموذج، حيث يتم إزالة مكونات معمارية لتقليل هذه التكاليف. لكن، غالبًا ما تكون مرحلة الاسترداد المحدودة نتيجة عدم التوافق بين سعة وحدة الاسترداد وتعقيد المعرفة التي تمت إزالتها، وهو ما نطلق عليه اسم عدم التوازن بين السعة والمعرفة.

لدى الباحثين حل مبتكر يتمثل في إطار OverRep، والذي يهدف إلى تحسين أداء استرداد نماذج اللغات الضخمة بطريقة فعّالة. من خلال الاعتماد على مبدأ "تدريب مفرط، نشر مضغوط"، يقوم OverRep بزيادة مستويات المعلمات المؤقتة لوحدة الاسترداد أثناء مرحلة التدريب, ما يسمح باستيعاب المعرفة المعقدة المنقولة من النموذج الأصلي.

بعد الانتهاء من الاسترداد، يتم دمج إعادة المعلمات المفرطة بشكل جبري مع وحدة مضغوطة، مما يحافظ على هيكلة النموذج ومصاريفه أثناء الاستدلال. بالإضافة إلى ذلك، يقدم OverRep آلية تنشيط مُعَزَّزة تسمح بديناميات تدريب غير خطية مع الوصول إلى تغيير خطي دقيق من أجل الدمج الجبري.

ظهر تأثير هذه الابتكارات بشكل جلي عبر ثلاث عائلات أساسية، حيث حسن OverRep أداء التفكير المحتفظ به بنسبة تتراوح بين 5.5 و8.4 نقاط في حالات تقليص بلغت 25% و50%، على التوالي، مع الحفاظ على استخدام الذاكرة ومعدل أداء المعالجة (TFLOPs) متشابهًا مع التقنيات الحالية. يتوفر الكود الخاص بنا عبر GitHub.

فلنتفاعل! ما هي آرائكم حول تأثير OverRep على مستقبل تقنيات الذكاء الاصطناعي؟ شاركونا في التعليقات!