في عالم نماذج اللغة الكبيرة (Large Language Models) الذي يشهد تطوراً مستمراً، برزت تقنية التكميم بعد التدريب (Post-training Quantization) كأداة أساسية لزيادة سرعة أداء هذه النماذج وتقليل حجمها. ومع ذلك، تعاني هذه التقنية من تحديات كبيرة بسبب وجود الأعداد النادرة (Outliers) في تنشيط النموذج، مما يؤثر سلباً على الأداء، خصوصًا عند التعامل مع دقة أقل.

أفادت الأبحاث الجديدة بأن الطرق الحالية في معالجة هذه الأعداد النادرة، والتي تعتمد على التحولات الخطية عبر أبعاد المميزات، لا تحقق تحسينات كبيرة، حيث لا تزال أنماط هذه الأعداد النادرة تتواجد مع تركيزات كبيرة في التوزيع. لذا، قام الباحثون بطرح دراسة جديدة تستعرض العلاقة الرياضية بين خطأ التكميم والأعداد النادرة، وبتقديم مقياس جديد يُعرف بـ "السطوح" (Flatness) لتحديد توزيع الأعداد النادرة.

بسياق هذه النتائج، قدم الفريق تقنية مبتكرة تُدعى "التكميم القطري من الاتجاهين" (Bidirectional Diagonal Quantization - BDQ)، والتي تركز على تفريق أنماط الأعداد النادرة عبر تحولات مصفوفة محسنة. من خلال العمليات القطرية المُتعلمة، يتم توزيع مقادير الأعداد النادرة بشكل استراتيجي عبر الأبعاد المصفوفية.

وأثبتت التجارب الشاملة أن BDQ لم تحقق فقط تغييرات جوهرية في أساليب التكميم، بل وضعت معيارًا جديدًا في هذا المجال، حيث إنخفضت نسبة الخطأ إلى أقل من 1% في تقنيّة W4A4 على نموذج LLaMA-3-8B. وفي تجارب W2A4KV16 الأكثر تحديًا، نجحت BDQ في تقليل الفجوة في الأداء بنسبة 39.1% مقارنةً بأحدث الأساليب على نموذج DeepSeek-R1-Distill-LLaMA-70B.

تبدو هذه التقنية الجديدة واعدة في تحسين أداء نماذج الذكاء الاصطناعي وقدرتها على العمل بكفاءة أكبر. كيف تعتقد أن هذه التقنية ستؤثر على مستقبل الذكاء الاصطناعي ونماذج اللغة؟ شاركونا آراءكم في التعليقات!