شهدت نماذج اللغات الضخمة (LLMs) في السنوات الأخيرة تطورًا مذهلاً في معالجة اللغة الطبيعية، لكن هذا التوسع الكبير يواجه تحديات جسيمة تتعلق بالتخزين، والنقل، والنشر. رغم الجهود الكبيرة نحو تحسين ضغط النماذج وترميز البيانات، إلا أن الأساليب التقليدية غالبًا ما تحتاج إلى ضبط دقيق أو بيانات معايرة، مما يحد من إمكانية تعميمها على أنواع متعددة من البيانات.

في هذه الورقة، يتم تقديم LLMCodec، وهي طريقة جديدة تعتمد على ترميز الفيديو لتقليل حجم البيانات في نماذج اللغات الضخمة. تقدم هذه التقنية توافقًا ضمنيًا مع البيانات ذات الهيكل المصفوفي، فضلاً عن استراتيجيات ضغط قابلة للتكوين وتنفيذات عالية الكفاءة جاهزة للاستخدام.

ركز الباحثون على دمج ترميز الفيديو VVC/H.266 مع تقنيات ضغط كمية فافينية (affine quantization)، مما جعل الأداء في مجالات النماذج المختلفة أكثر فعالية. أظهرت التجارب التي أجريت على نموذج LLaMA-3-8B عند دقة 2 بت انخفاضًا في درجة التعقيد (perplexity) بنسبة تزيد عن 1.5 مرة، بالإضافة إلى تحسين دقة المهام اللاحقة بنسبة 21% مقارنة بالأساليب السابقة.

تعد هذه النتائج دليلًا على قوة وطبيعة LLMCodec كبديل واعد لمواجهة تحديات ضغط البيانات في نماذج اللغات الضخمة، مما يفتح آفاقًا جديدة للذكاء الاصطناعي وطرق تطوير التطبيقات الذكية.