طرحت HiFA4 تصميمًا جديدًا يُعتبر خطوة متقدمة في عالم الذكاء الاصطناعي، حيث يمكنه تنفيذ كل من QK^T وPV في FlashAttention من خلال 4 بت فقط باستخدام HIF4 Cube GEMMs. تعمل هذه التقنية على تقليل التأخير وتعزيز كفاءة الاستدلال على نماذج اللغة الضخمة (Large Language Models) عبر منصات Ascend NPUs.

يعتبر HiFA4 الحل الأول من نوعه الذي يركز على تقنية Ascend-HIF4 ويقيم أدائه وفقًا لمعايير الذكاء الاصطناعي القياسية. يعتمد HiFA4 على آليتين رئيسيتين؛ حيث تُطبق Smooth-QK إعادة قياس ثابتة على Q و K بعد تطبيق RoPE، مما يُحول صعوبة التكميم من K إلى Q دون الحاجة إلى خفض دقيق أثناء الاستدلال.

أما P-Reordering، فيقوم بتجميع مُطبع softmax من الأوزان الكمية P_hat المستخدمة في عملية PV GEMM، بدلاً من إعادة بناء دقة أعلى. أظهرت النتائج أن هذه الصيغة غير المتناسقة تساهم في تقديم خطأ ملحوظ في مقياس الناتج.

عبر إجراء اختبارات على خمسة نماذج ذكاء اصطناعي ضخمة، تمكن HiFA4 من تقليل الانحراف الناتج عن التكميم. على سبيل المثال، باستخدام نموذج Qwen3-8B، استطاع HiFA4 استعادة 37.5% من الفارق في الدقة الناتج عن التكميم المباشر، كما تم تقليص المتوقعات غير المتناسقة من BF16 إلى 8.2%.

تظهر الأبحاث أيضًا أن الاستجابة من حيث الدقة تكون ضمن نطاق 0.7 pp من BF16 بينما تتقلص الانحدارات م القياسية بنسبة 27%. مع هذه التحسينات، تظهر HiFA4 كخيار مثالي لمستقبل تنفيذ عمليات الذكاء الاصطناعي بكفاءة كبيرة.

ما رأيكم في هذا الابتكار الجديد؟ هل تعتقدون أن HiFA4 ستكون لها تأثيرات إيجابية على تطوير الذكاء الاصطناعي في المستقبل؟ شاركونا آرائكم في التعليقات!