مع الزيادة السريعة في حجم المعلمات في نماذج اللغة الكبيرة (Large Language Models - LLMs)، أصبح هناك طلب كبير على تقنيات ضغط فعالة. تعد تقنيات الضغط ذات الترتيب المنخفض (low-rank compression) من الأساليب المتبعة على نطاق واسع كما أنها تتسم بتوافق عالي وبدون الاعتماد على الأجهزة. ومع ذلك، لا تزال الأساليب الحالية المعتمدة على تحليل القيمة المفردة (SVD) تركز بشكل كبير على أهداف إعادة البناء المحلية، مما يغفل عن قيود حرجة. غالباً ما يتم تخصيص ميزانيات الترتيب دون النظر بشكل صريح إلى حساسية فقدان الطبقات، كما أن الأخطاء الناتجة عن الاقتراب المحلي يمكن أن تتراكم وتنتشر، مما يؤدي إلى انحرافات عالمية مضخمة عن النموذج الأصلي.

لحل هذه المشكلات، نقترح إطار عمل LACE-SVD، وهو نظام ضغط مدروس يعتمد على SVD مع تصحيح للأخطاء التراكمية. تقوم LACE-SVD أولاً بتقدير الزيادة في احتمالية السلبية التراكمية التي تسببها نسب الضغط المقترحة لكل طبقة، وتقوم بحل مشكلة تخصيص الميزانيات بمراعاة قيود معينة. بعد ذلك، يتم تحسين النموذج المضغوط باستخدام تحديثات محلية بحيث يتم تضمين تصحيح واعٍ لنتائج تدفق المخلفات، مما يقلل من تفاوت مخرجات الطبقات بما يمثل علاجاً لتنمية الأخطاء التراكمية.

أظهرت النتائج التجريبية أن الطريقة تمكنت من تحقيق نسب ضغط عالية (0.6) حيث أن WikiText-2 PPL الخاص بنا على نموذج LLaMA-7B (32.57) كان أفضل بكثير من Dobi-SVD (46.18).