في عالم الذكاء الاصطناعي، تعتبر دقة النماذج أمراً حيوياً. لهذا السبب، عكفت الدراسات الأخيرة على استكشاف تقنيات جديدة لتحسين عمليات التكميم بعد التدريب (Post-Training Quantization - PTQ). من بين هذه التقنيات، تم اعتماد أسلوب تدوير الكتل لتخفيف العناصر الشاذة قبل عملية التقريب، مما يساهم في تقليل العبء الناتج عن عمليات التدوير الكاملة.

على الرغم من نجاح هذه الأساليب، إلا أن التأثير الفعلي لتركيب الكتل على قمع العناصر الشاذة لا يزال غير مفهوم تماماً. وفي محاولة لسد هذه الفجوة، تم تقديم تحليل منهجي وغير كثير التوجهات حول قمع العناصر الشاذة باستخدام تدويرات هادامارد الكتلية. وقد أظهرت النتائج أن قمع العناصر الشاذة يرتبط بشكل أساسي بجغرافيا متجه الإدخال، ويتحقق بأفضل شكل عندما يتم توزيع الكتلة بشكل متساوٍ عبر الكتل.

بناءً على هذه الرؤى، تم تقديم نموذج مبتكر يسمى PeRQ (Permute, Rotate, then Quantize)، والذي يعيد توزيع الكتلة الفعالة عبر عمليات التبديل قبل الشروع في التدوير. ويعتمد هذا الإطار على خوارزمية انتشار الكتلة الجشعة، التي تهدف إلى مواءمة النسب المتوقعة من الكتل.

لكن، وما يقلق العديد هو عدم إضافة تحميل إضافي على الأداء أثناء عملية الاستدلال. بالتالي، تم التعرف على المناطق المتكافئة للتبديل في بنى التحويل، مما يسهل دمج هذه التبديلات في أوزان النموذج قبل نشره.

تجاربنا أثبتت أن PeRQ يحقق تحسينات ملحوظة في الدقة عبر أحجام الكتل المختلفة، حيث تم استعادة ما يصل إلى 90% من تعقيد تدوير المتجه الكامل عند تكميم نموذج Llama3 1B إلى INT4 مع حجم كتلة 16، مقارنةً بـ 46% بدون عمليات التبديل.

إن عالم الذكاء الاصطناعي مليء بالاحتمالات، فهل أنتم مستعدون لاستكشاف هذه الأبعاد الجديدة؟ شاركونا آراءكم حول هذه الابتكارات التكنولوجية!