ثورة في ضغط نماذج اللغة: تقنية جديدة لتحقيق أداء مُحسن!

في عالم [نماذج [اللغة](/tag/اللغة) الكبيرة](/tag/[نماذج](/tag/نماذج)-[اللغة](/tag/اللغة)-الكبيرة) (Large Language [Models](/tag/models)) الذي يشهد تطوراً مستمراً، برزت [تقنية](/tag/تقنية) [التكميم](/tag/التكميم) بعد [التدريب](/tag/التدريب) (Post-training [Quantization](/tag/quantization)) كأداة أساسية لزيادة [سرعة](/tag/سرعة) [أداء](/tag/أداء) هذه [النماذج](/tag/النماذج) وتقليل حجمها. ومع ذلك، تعاني هذه [التقنية](/tag/التقنية) من [تحديات](/tag/تحديات) كبيرة بسبب وجود الأعداد النادرة (Outliers) في [تنشيط](/tag/تنشيط) النموذج، مما يؤثر سلباً على الأداء، خصوصًا عند التعامل مع [دقة](/tag/دقة) أقل.

أفادت [الأبحاث](/tag/الأبحاث) الجديدة بأن الطرق الحالية في معالجة هذه الأعداد النادرة، والتي تعتمد على التحولات الخطية [عبر](/tag/عبر) أبعاد المميزات، لا [تحقق](/tag/تحقق) [تحسينات](/tag/تحسينات) كبيرة، حيث لا تزال أنماط هذه الأعداد النادرة تتواجد مع تركيزات كبيرة في التوزيع. لذا، قام الباحثون بطرح [دراسة جديدة](/tag/[دراسة](/tag/دراسة)-جديدة) تستعرض العلاقة الرياضية بين [خطأ](/tag/خطأ) [التكميم](/tag/التكميم) والأعداد النادرة، وبتقديم مقياس [جديد](/tag/جديد) يُعرف بـ "السطوح" (Flatness) لتحديد توزيع الأعداد النادرة.

بسياق هذه النتائج، قدم الفريق [تقنية](/tag/تقنية) مبتكرة تُدعى "[التكميم](/tag/التكميم) القطري من الاتجاهين" (Bidirectional Diagonal [Quantization](/tag/quantization) - BDQ)، والتي تركز على تفريق أنماط الأعداد النادرة [عبر](/tag/عبر) [تحولات](/tag/تحولات) مصفوفة محسنة. من خلال العمليات القطرية المُتعلمة، يتم توزيع مقادير الأعداد النادرة بشكل استراتيجي [عبر](/tag/عبر) الأبعاد المصفوفية.

وأثبتت [التجارب](/tag/التجارب) الشاملة أن BDQ لم [تحقق](/tag/تحقق) فقط [تغييرات](/tag/تغييرات) جوهرية في [أساليب](/tag/أساليب) التكميم، بل وضعت معيارًا جديدًا في هذا المجال، حيث إنخفضت نسبة الخطأ إلى أقل من 1% في تقنيّة W4A4 على [نموذج](/tag/نموذج) LLaMA-3-8B. وفي [تجارب](/tag/تجارب) W2A4KV16 الأكثر تحديًا، نجحت BDQ في تقليل [الفجوة](/tag/الفجوة) في [الأداء](/tag/الأداء) بنسبة 39.1% مقارنةً بأحدث الأساليب على [نموذج](/tag/نموذج) [DeepSeek](/tag/deepseek)-R1-Distill-LLaMA-70B.

تبدو هذه [التقنية](/tag/التقنية) الجديدة واعدة في [تحسين أداء](/tag/[تحسين](/tag/تحسين)-[أداء](/tag/أداء)) [نماذج الذكاء الاصطناعي](/tag/[نماذج](/tag/نماذج)-الذكاء-الاصطناعي) وقدرتها على العمل بكفاءة أكبر. كيف تعتقد أن هذه [التقنية](/tag/التقنية) ستؤثر على [مستقبل الذكاء الاصطناعي](/tag/[مستقبل](/tag/مستقبل)-الذكاء-الاصطناعي) ونماذج [اللغة](/tag/اللغة)؟ شاركونا آراءكم في [التعليقات](/tag/التعليقات)!