في عالم الذكاء الاصطناعي، يعد التكميم واحداً من الأدوات الثورية التي تهدف إلى تحسين كفاءة النماذج المدربة وتقليل الاستهلاك الطاقي. هناك نوعان رئيسيان من التكميم هما التكميم بعد التدريب (Post-training Quantization - PTQ) وتدريب النموذج المعتمد على التكميم (Quantization-Aware Training - QAT). في هذا السياق، تم طرح مفهوم جديد يوضح كيفية عمل كلا الطريقتين من منظور هندسي.

يتعلق الأمر بتمثيل تدريب النماذج ذات الدقة العالية كعملية تتبع "نهر" منخفض الخسارة داخل "وادي" أوسع. تحتفظ الأصناف المجاورة للنهر بتكلفة منخفضة، ولكن الخروج من هذا النطاق قد يؤدي إلى زيادة حادة في الخسارة. عندما تتقارب شبكة التكميم مع عرض الحوض، يمكن للأساليب المحلية المستخدمة في PTQ أن تختار معلومات ذات خسارة عالية رغم وجود نقاط أخرى منخفضة الخسارة بالقرب.

ومع ذلك، يمكن أن يكون لتقنية QAT تأثير مفيد، حيث تُظهر كيف يمكن أن تساعد في إعادة تقييم الأوزان المكممة وتجنب الخسائر العالية. تفسر الدراسة من جديد كيفية تحقيق ذلك من خلال نموذج المناظر المحلية، موضحة كيفية فشل PTQ وآلية الاستعادة الخاصة بـ QAT.

تُظهر التجارب عبر نماذج رؤية ولغة متنوعة تحت أنظمة مختلفة من التكميم أن النتائج تؤكد عدم قدرة PTQ على تجاوز النقاط الحادة، في حين يستطيع QAT التعافي من هذه الخسائر. هذا البحث سيفتح المجال أمام فهم أعمق لكيفية تحسين الأداء في أنظمة الذكاء الاصطناعي المعتمدة على تخفيض الأبعاد.