في عالم الذكاء الاصطناعي، تعتبر نماذج اللغات الكبيرة (Large Language Models) أحد أبرز الابتكارات، ولكن ضغطها يظل تحدياً حقيقياً. قدم الباحثون مؤخراً إطار عمل جديد يحمل اسم CoSpaDi (Compression via Sparse Dictionary Learning) والذي يعد بنقلة نوعية في طريقة ضغط هذه النماذج.

يعتمد CoSpaDi على تقنيات مبتكرة تستبدل عملية تقليل الرتبة بعملية تمثيل أكثر مرونة. بدلاً من الاعتماد على تقنيات تقليدية قد تفقد دقة النموذج، يقوم CoSpaDi بتمثيل مصفوفة الأوزان كمجموعة من المعادلات الخطية المستندة إلى بيانات محددة. وبهذه الطريقة، يتم تحسين دقة النماذج مع الحفاظ على كفاءة عملية الضغط.

ما يُميز CoSpaDi هو اعتماده على مجموعة صغيرة من الضبط لتقليل الأخطاء الوظيفية لأداء الطبقات بدلاً من الأخطاء المتعلقة بالوزن. هذا يجعله أكثر دقة وفعالية، خاصة عند مقارنة الأداء مع طرق الضغط التقليدية مثل تقنيات الانحلال أحادي القيمة (SVD).

تتراوح نسب الضغط التي يمكن تحقيقها من 20-40% من حجم النموذج الأصلي، مما يوفر إمكانيات جديدة للبحث والتطبيقات المستقبلية في مجال الذكاء الاصطناعي. بفضل هذه التقنية، يمكن إجراء حسابات خفيفة وكثيفة بشكل متزامن، مما يسهل عملية دمج تقنيات التكميم بعد التدريب.

هل أنتم مستعدون لاستكشاف هذه التكنولوجيا المبتكرة وكيف يمكن أن تؤثر على مستقبل نماذج اللغات؟