تعد تكلفة الانتباه (Attention Cost) واحدة من أكبر العوائق التي تواجه نماذج توليد الفيديو المستندة إلى الانتشار. حيث تقدم تقنية MXFP4 انطلاقة واعدة نحو استنتاجٍ أكثر كفاءة، لكن التحجيم المباشر لـ MXFP4 غالباً ما يؤدي إلى تدهور جودة الإنتاج نتيجة لمشكلات عددية. ومن هنا، تأتي أهمية تقنيتنا الجديدة MXAttention.

تحتوي MXAttention على مكونات جديدة، منها:
1. **التحجيم الأمثل الشامل (Universal Optimal Scaling - UOS)**: تستفيد هذه التقنية من الهيكل الدوري للتحجيم بقياس القوى الثنائية لتطوير حدود تحجيم مثالية غير مرتبطة بالتوزيع.
2. **التكميم المسبق الطبيعي (Pre-Normalization Quantization - PNQ)**: تقوم بتكميم الأسس الطبيعية لـ Softmax قبل جمع الصفوف، مما يحافظ على التوزين بشكل محسوب.

أظهرت التجارب التي أُجريت على مجموعة بيانات Wan2.2 وHunyuanVideo أن MXAttention تقلل فجوة الجودة مع OCP MXFP4 إلى 95% مقارنةً بـ FP16. كما أنها تحسن من تشابه الإطارات وتحافظ على جودة الإنتاج بمستوى FP16 مع تدهور ضئيل أقل من 0.01 في جميع المقاييس المبلغ عنها.

بالإضافة إلى ذلك، تحققت MXAttention من أداء حرجة مقارنةً بأسس NVFP4 القوية مع حمل إضافي ضئيل عندما يتم دمجها في سير عمل الانتباه. وتتوفر هذه التقنية للتنفيذ العام في MindIE-SD. هذا الابتكار قد يغير قواعد اللعبة في مجال الذكاء الاصطناعي وتوليد الفيديو.
ما رأيكم في هذه التطورات المثيرة؟ شاركونا في التعليقات.