في مجال تطوير نماذج الذكاء الاصطناعي، يتطلب الأمر دائماً البحث عن أحدث وأفضل التجهيزات لتحقيق فعالية أكبر. ومن هنا، يسجل FP4 ظهوراً مثيراً للانتباه حيث يقدم إطار العمل NVFP4 الجديد الذي يعالج ثلاثة من أبرز التحديات التي تواجه عملية الإعداد وهي: ضعف الاستقرار في المشكلات الثلاثة المتعلقة بالتقدير الرقمي.

تشير الدراسات إلى أن الطرق الحالية لإعداد نموذج NVFP4 تركز بالأساس على طبقات التحويل (Transformer Linear Layers)، مما يترك الحالة الحالية للمؤشرات، والعمليات الحسابية غير مستكشفة بشكل كامل، وما يتعلق بانتباه النموذج. هذه الفجوة الحادة تعيق التقدير الكامل المستقر لنماذج 4-bit، حيث تظهر الأنظمة الثلاثة أنماط فريدة من الفشل الرقمي.

ولمعالجة هذه الفجوات، يقترح FP4 استخدام استراتيجيات الدقة لكل وحدة على حدة. باستخدام تقنية LoRA-SVD، يتم تقليل الضجيج الناتج عن التقدير ويُخفض الفارق في الخسارة من 1.40% إلى 0.61%. كما تم تصميم نموذج AdamW لتحويل اللحظات الثانية ليتناسب مع تخزين NVFP4 القوي. وفيما يخص الانتباه، تم تضمين نمط دقة مختلطة يضمن الحفاظ على المسارات الأكثر هشاشة في BF16.

تؤكد النتائج الأولية لنموذج FP4 المسبق، الذي ينطوي على 3B/64B-token، إلى إمكانية تحقيق أداء قريب من BF16 مع خسارة تبلغ فقط 1.47%. وهذا يعد خطوة مذهلة نحو تجهيز نماذج الذكاء الاصطناعي بأفضل ما يمكن.