ابتكار ثوري في ضغط نماذج اللغة: تحويل الطبقات إلى وحدات فرعية لتعزيز الأداء!

في عالم تكنولوجيا الذكاء الاصطناعي، تبقى نماذج اللغة الكبيرة (Large Language Models - LLMs) في صدارة الابتكارات، ولكن ضغطها دون فقدان الأداء يعد تحديًا كبيرًا. في تقدم جديد، قام الباحثون بتقديم أسلوب مبتكر يعرف بـ SubFit، والذي يعد نقلة نوعية في كيفية ضغط LLMs.

بدلاً من الاستناد إلى فكرة ضغط طبقات بأكملها كما هو معتاد، يسعى هذا الأسلوب إلى استبدال وحدات فرعية (submodules) من خلال منهجيات غير متجاورة، مما يعني أنه يمكن استبدال مكونات معينة دون الحاجة إلى تشكيل مناطق متسلسلة.

هذه الفكرة تنبع من الفهم الجيد لوجود زوائد (redundancies) في نماذج Transformers المدربة مسبقًا، حيث لا تكون هذه الزوائد محصورة في مناطق متقاربة، بل تتوزع بشكل غير متساوي بين مخرجات الوظائف الانتباهية (Attention) والشبكات العصبية التغذوية (FeedForward).

نظام SubFit يتيح ضغط LLMs عند مستوى الوحدات الفرعية، حيث يتم اختيار الوحدات الانتباهية والتغذوية في شكل غير متسلسل، مما يمنح كل وحدة bypass خفيف الوزن مخصص لها. وعلاوة على ذلك، يعمل هذا الأسلوب بعد التدريب ويتطلب فقط بيانات ضبط (calibration data).

هذا النهج الجديد قد أظهر نتائج مبهرة عند اختباره على عشرة نماذج من LLMs، حيث أظهر SubFit توازنًا مثاليًا بين الاستعلام والدقة. عند مستوى 25% من الضغوطات، احتفظت النماذج بنسبة 84.6% في دقة النتائج، مقارنةً بـ 81.6% لأفضل النماذج البديلة، مع تحصيل سرعة إدراك محسنة وتوفير في الذاكرة.

لمن يرغب في استكشاف الكود، يمكنكم زيارة GitHub.

هل تعتقدون أن هذا الأسلوب سيغير مستقبل نماذج اللغة الكبيرة؟ دعونا نعرف آراءكم في التعليقات!