في عالم الذكاء الاصطناعي، تعد نماذج اللغة الكبيرة (LLMs) أدوات قوية، لكنها تأتي مع تحديات كبيرة من حيث الأداء والكفاءة. تمهيدًا لحل هذه المشكلة، تم تقديم نظام FTC، وهو إطار عمل مبتكر لضغط النموذج يهدف إلى تحسين أدائه بشكل ملحوظ.

تعمل تقنية FTC من خلال استخدام نهج تسلسلي يحقق ضغطًا هيكليًا للمصفوفات بدون الحاجة إلى إعادة الضبط (fine-tuning) أو استعادة معتمدة على التدرجات (gradient-based recovery). وتعتمد هذه التقنية على استغلال الهيكل الأصلي لرؤوس Q/K/V ضمن ميزانية تخزين ثابتة، وهي عملية تضمن أن يتم التعامل مع تمثيل الخرج بشكل منفصل للاستجابة للتغيرات الناتجة بعد التركيز.

تظهر نتائج تطبيق نظام FTC عبر سبعة نماذج LLM مختلفة، تتراوح أحجامها من 6 مليار إلى 32 مليار معلمة، أن هذه التقنية تحقق أقل معدلات تعقيد (perplexity) على مجموعة WikiText-2 مقارنة بالطرق المطروحة الأخرى، خاصة عند تطبيق ضغط كبير. هذه التحسينات لا تتوقف عند ذلك، بل تنتقل إلى المهام التالية وتظل ذات أهمية كبيرة حتى عند استخدام النموذج بحجم 32 مليار معلمة.

إذا كنت مهتمًا بتقنيات ضغط نماذج اللغة وكيف يمكن أن تؤثر بشكل إيجابي على التطبيقات المستقبلية، فلا تتردد في مشاركتنا برأيك في التعليقات! ما هي توقعاتكم بشأن المستقبل؟