تسعى الأبحاث الحالية إلى فهم التأثيرات الناتجة عن تقنيات التكميم (Quantization) على نماذج اللغة الكبيرة (Large Language Models)، والتي تُعتبر خطوة قياسية عند نشر هذه النماذج. ويُقيم عموماً نموذج التكميم كجيد حين تبقى دقة أدائه أو تعقيداته قريبة من النموذج الأصلي بالكامل.

لكن السؤال الحقيقي هو: هل تظل الميزات القابلة للتفسير التي تم تحديدها في النموذج عالي الدقة مستمرة بعد عملية التكرار؟

قام الباحثون بتحليل ما إذا كانت الميزات المستخرجة باستخدام مشفر تلقائي نادر (Sparse Autoencoder) من نموذج دقيق تبقى سليمة بعد التكميم. من خلال استخدام مشفر ثابت كنقطة قياس، تم تشفير النشاطات الكاملة والدقيقة ونماذج التكميم على نفس الرموز، وتم قياس بقاء كل ميزة من خلال الارتباطبيرسون.

أظهرت النتائج أن بقاء الميزات ليس متساويًا، بل يتدهور بشكل منهجي. حيث نجت 62.4% من الميزات النشطة عند معدل تكميم INT6 على نموذج Pythia-70M، و51.3% على نموذج Gemma-2-2B. معظم الميزات التي لم تنجو لم تكن مدمرة، بل كانت ضبابية. تعتمد قابلية البقاء على إحصائيات الدقة بالكامل، مع وجود توقعات قوية.

من المهم ملاحظة أن مقاييس الأداء الخاصة بالمهام يمكن أن تغفل هذا الضرر. على سبيل المثال، عند استخدام نموذج Gemma-2-2B، أدى تكميم INT7 إلى تحسين التعقيد لكن مع تدمير 18.7% من الميزات.

تشير النتائج أيضًا إلى أن التكميم وعمليات التنقيح من حيث تساوي التعقيد تؤدي إلى ضرر كبير في مجموعات الميزات المتداخلة. تنبه هذه النتائج إلى فكرة أن التقييم السلوكي وحده لا يكفي كدليل على انتقال نتائج قابلية التفسير إلى النماذج المضغوطة، مما يستدعي تدقيق مستوي للميزات عند استخدام تقنيات التكميم.