في عالم النماذج اللغوية الكبيرة (Large Language Models)، يظهر التحدي دوماً كيف يمكن تقديم نماذج ذات كفاءة عالية من حيث التكلفة والتشغيل. اتخذت عملية تقليل حجم هذه النماذج، خاصة عندما يتم ضغطها إلى أبعاد مضغوطة بحجم 4 بت، خطوة إلى الأمام مع ظهور تقنية جديدة تُعرف بشفاء النماذج اللغوية المضغوطة (Quantization-Aware Healing).

تتطلب إعادة استخدام مثل هذه النماذج بعد ضغطها، مرحلة شفاء لضمان تحسين الأداء ودقة النتائج. التقنية التقليدية كانت تعتمد على التدريب الواعي بالضغط (Quantization-Aware Training) الذي كان يبطئ من وتيرة العمليات، وأكثر من ذلك فشل في الحفاظ على الأداء المطلوب بعد الوصول إلى قمة الأداء.

هنا تأتي تقنية شفاء النماذج اللغوية المضغوطة لتحل محل الطرق التقليدية، من خلال استخراج النموذج المضغوط الذي يتم تدريبه من خلال نموذج غير مضغوط أصلي بدلاً من الاحتفاظ بالمعلومات من نموذج مضغوط مسبقاً. هذا الابتكار أظهر أداءً متفوقًا في العديد من المعايير، فهو يحقق نتائج تفوق النموذج التقليدي بذاكرة أقل بمعدل 4 مرات.

أحد أبرز النتائج من هذه التقنية الجديدة هو نموذج Hypernova-60B، الذي تم إصداره بوزن أقل ونطاق عمليات أكبر مقارنة بالوسائل التقليدية. ودراسة نجاح تطبيقه تشير إلى الحاجة للابتعاد عن البحث في معلمات متعددة خلال استطلاع النماذج، مما يجعلها أكثر ملاءمة للتطبيق العملي.

ما رأيكم في هذه التقنية الثورية؟ هل تعتقدون أن لديها القدرة على تغيير صناعة النماذج اللغوية الكبيرة؟ شاركونا تعليقاتكم!