ثلاثية الضغط: استكشاف تقنيات الضغط المتقدمة لنماذج اللغات الضخمة

في عصر الذكاء الاصطناعي، تتزايد الحاجة لنماذج اللغات الضخمة (LLMs) القابلة للتوسع، لكن التكاليف العالية المرتبطة بالحوسبة والبيئة تشكل عائقًا كبيرًا أمام انتشارها على نطاق واسع. هذا التحدي دفع الباحثين إلى تطوير تقنيات ضغط تقليدية مثل التشتت (Sparsity) والتكميم (Quantization) والتقريبات ذات الرتبة المنخفضة (Low-Rank Approximations)، غير أن استخدامها بمفردها يعوق الوصول إلى الأداء الأمثل.

يقدم البحث الجديد ثلاثية الضغط (Compression Trinity) كإطار موحد يجمع بين هذه الثلاث تقنيات بشكل متكامل. من خلال تطبيق التشتت لتقليل التعقيد الحسابي، والتكميم لتقليل عرض النطاق الترددي للذاكرة، والتقريبات ذات الرتبة المنخفضة لاستعادة دقة النموذج، تم تحقيق نتائج مذهلة.

لتحسين مرحلة التدريب المسبق، تم تطبيق هذه الثلاثية على كل من المحسّن (Optimizer) وهندسة النموذج. حيث يقوم MKOR بتقريب انحناء النموذج عبر تشتت كتلي وت inversions ذات الرتبة المنخفضة، مما حافظ على الاستقرار العددي في حالات الكم. وقد ساعد هذا النظام في تقليل تعقيد تحديث الانحناء بشكل ملحوظ من $O(d^3)$ إلى $O(d^2)$، مما يؤدي إلى تحسين سرعة التقارب بمعدل يصل إلى 1.85 مرة مقارنة بطرق سابقة.

بالإضافة إلى ذلك، يعزز SLoPe من عملية التدريب حتى 1.25 مرة عبر تمرير خلفي مزدوج تم تقليصه بالتزامات N:M التشتتية، مستخدمًا محولات “كسولة” ذات رتبة منخفضة في المرحلة الأخيرة من التدريب لاستعادة الدقة. أما بالنسبة لضغط ما بعد التدريب، فإن OPTIMA يقوم بتثبيت الأقنعة الثابتة في نظام دون تدريب عبر صياغة إعادة بناء الأوزان كبرامج تربيعية عالمية مثالية، مما يحسن دقة الصفر (Zero-Shot Accuracy) بمعدل يبلغ حتى 3.97%.

لتجاوز حدود الأقنعة الثابتة، يقدم PATCH نسبة تشتت هجينة ديناميكية تتراوح بين 0% و50%، مما يعطي تسريعًا يصل حتى 1.38 مرة. وأخيرًا، يحقق SLiM ثلاثية الضغط كاملة في خطوة واحدة، من خلال استخدام محولات ذات رتبة منخفضة مشتقة رياضيًا لاستعادة المعلومات المفقودة نتيجة للتكميم والتشتت، مما يحسن الدقة بمعدل يصل حتى 5.66% مقارنة بأفضل الطرق الحالية.

تشير هذه النتائج إلى أن التطبيق المشترك لثلاثية الضغط يعد أمرًا أساسيًا من أجل إنتاج نماذج لغات ضخمة فعالة وقابلة للتوسع وعالية الأداء.