يستمر الذكاء الاصطناعي في الابتكار والتطور، وآخر هذه التطورات هو ما قدمته دراسة حديثة تتعلق بتقنية تدريب الانتباه الرباعي البت (4-Bit Attention) المدركة للكم (Quantization-Aware Training) المعروف باسم Attn-QAT. هذه التقنية تعد خطوة أساسية نحو تحقيق أداء موثوق في الحسابات باستخدام وحدات معالجة الرسوميات القادرة على FP4.

لقد كان الحصول على انتباه موثوق خلال تنسيق 4-بت أحد أكبر التحديات، حيث أن الكم القليل من الديناميكية في FP4 يشكل عائقًا أمام أداء الأنظمة بسبب تفاعلاته المتعددة. ولحل هذه المشكلة، قامت هذه الدراسة بأول دراسة منهجية عن تدريب الانتباه المدرك للكم، حيث تم الكشف أن الاعتماد على عملية التدريب التقليدية قد يؤدي إلى عدم استقرار.

تناولت الدراسة مبدأين أساسيين لاستقرار نظام FP4: أولًا، التطابق في الاستبدال للعدد القليل من الدقة لاسترجاع درجات الانتباه خلال المرحلة الخلفية. ثانيًا، تصحيح الافتراضات الضمنية المتعلقة بالدقة في حسابات التدرجات.

بناءً على هذه الأفكار، تم اقتراح تقنية Attn-QAT مع تنفيذ نوى مدمجة لـ Triton لتدريب الأنظمة وتقديم النتائج. وقد أثبتت النتائج المبدئية أن Attn-QAT قادر على استعادة الجودة المفقودة من FP4 دون الحاجة لخطط تخفيف المخرجات المعروفة في تقنيات الانتباه السابقة.

علاوة على ذلك، قدمت التقنية الجديدة زيادة في السرعة تصل إلى 1.5 مرة عند استخدام بطاقة RTX 5090 مقارنة بتقنية SageAttention3، وكذلك 1.74 مرة مقارنة بتقنية FA4 على البطاقة GB300. لمزيد من المعلومات، يمكن الاطلاع على العروض التوضيحية على رابط الفيديو ورمز البرمجة المتاح على رابط الكود.

هل تتوقع أن يكون لتقنية Attn-QAT تأثير كبير على مستقبل الذكاء الاصطناعي؟ شاركونا آرائكم في التعليقات.