في السنوات الأخيرة، أصبح ضغط نماذج اللغة الكبيرة (LLMs) نقطة محورية في مجال الذكاء الاصطناعي. وقد أثبتت الأطر التي تعتمد على ضغط مرتبة منخفضة دون تدريب فعاليتها الكبيرة في تقليل عدد معلمات النموذج مع الحفاظ على الدقة في مهام معينة. ومع ذلك، لا تزال هناك تحديات معينة تواجه هذه الأطر.

تكمن أحد أكبر المشكلات في تراكم الأخطاء المتبقية في تفعيل بيانات التهيئة عبر الطبقات أثناء عملية الضغط، مما يؤدي إلى عدم تطابق بين التمثيلات التي تتم محاكاتها أثناء الضغط وتلك التي تُختبر عند الاستدلال. هذا الأمر يسبب صعوبة في التأكد من أن النموذج المضغوط يعمل بنفس كفاءة النموذج الأصلي.

إضافة إلى ذلك، يعتمد العديد من الأطر الحالية على فرضية أن توزيع أهمية الطبقات سيظل محفوظًا بعد عملية الضغط، مما لا يجوز في الواقع. ونتيجة لهذه العوامل، يحدث عدم اتساق في عملية الضغط بالنسبة للنموذج المطبق.

استجابةً لهذه التحديات، اقترحنا منهجية بسيطة وغير قائمة على التدريب تتوافق مع الأطر الحالية للحد من هذه الآثار السلبية. تتضمن هذه المنهجية:
1. ضغط لكل طبقة مع تصحيح التهيئة.
2. ضغط تكراري مع تصحيح توزيع المستويات.

تم تنفيذ هذه الطرق المبتكرة على إطار تفكيك متقدم وتم تقييمها باستخدام نماذج مثل Llama وQwen3 عبر مجموعة متنوعة من المعايير ومعدلات الضغط. وقد أظهرت نتائجنا تحسينات تصل إلى 1-2.5 نقطة في الدقة مقارنة بأساليب التفكيك التقليدية والأوزان المشتركة في المهام غير الموجهة (Zero-shot tasks). هذه النتائج تشير إلى اتجاه جديد ومبشر في تطوير نماذج اللغة، مما يبعث الأمل في تحقيق أداء أعلى وكفاءة أكبر بدون الحاجة للتدريب المعقد.