في عالم الذكاء الاصطناعي، يعد تقليل تكاليف التشغيل لنماذج اللغات الضخمة (Large Language Models) تحدياً بارزاً. إحدى الاستراتيجيات الفعالة لتحقيق ذلك هي "الكوانتيزات بعد التدريب" (Post-training quantization)، والتي تهدف إلى تقليص حجم النماذج مع الحفاظ على أدائها. لكن، تبقى هناك صعوبة في تقدير قيم التفعيل بسبب التأثير الكبير لقنوات القيم الشاذة.

تتحدث دراستنا الجديدة عن هذا التحدي وتقدم حلولاً مبتكرة. حيث نعمل على تحسين النماذج من خلال سياسة كوانتيزات تعتمد على توزيع القيم بدلاً من الإحصاءات التقليدية المعتمدة على القيمة القصوى، مما يقلل من الأخطاء الناتجة عن قنوات القيم الشاذة. نحن نقدم تقنيات مبتكرة مثل تحويلات "SmoothRot" ونعززها بطريقة تحسن أداء القنوات.

عند تطبيق هذه الأساليب الجديدة على نموذج LLaMA-3.2-1B باستخدام كوانتيزات W4A4، أظهرت النتائج تحسنًا واضحًا بنسبة 11.1% في تقليل الأخطاء، و12% عند استخدام أساليب مشتركة، و18.5% عند التدريب المفصل. ومع إعادة اختبار أساليب أفضل القنوات على جميع طبقات فك الشيفرة، تمكن المشروع من تقليل متوسط ​​الأخطاء من 97.51 إلى 78.08، وهو ما يُمثل تحسنًا بنسبة 19.9%.

تشير هذه النتائج إلى أن التحكم القوي في الانتقال والتعلم الخفيف للقياسات يُتيح تحسينات ملحوظة تفوق الأساليب التقليدية المعتمدة على القيم القصوى، مع الحفاظ على فعالية إطار التحويلات المعادلة. هذه الابتكارات قادرة على إعادة تشكيل طريقة عمل نماذج الذكاء الاصطناعي، مما يفتح آفاقاً جديدة في عالم الكوانتيزات الفعالة.