في عصر يعتمد على الذكاء الاصطناعي (AI) والتعلم العميق بشكل متزايد، يصبح الضغط لتقليل التكلفة من خلال تقنيات التقليص (quantization) ضرورة لا مفر منها. في عام 2022، قام ائتلاف Open Compute Project (OCP) بوضع معايير جديدة لأبعاد دقيقة لتعلم الآلة، تحت اسم الفورمات الميكروسكالي (microscaling) المعروف بـ MX.
يمثل الفورمات MX آلية تقليص ديناميكية مثالية تتناسب مع الأجهزة، حيث يقوم بتقليص حجم البيانات عن طريق مشاركة أس 8 بت بين عدة عمليات. يمكن تصنيف الفورمات MX إلى نوعين رئيسيين كلاهما له قوته الخاصة:
- **MXINT**: يركز على دقة عالية يتكون فقط من بتات المانتيزا (mantissa bits).
- **MXFP**: يتيح مجال ديناميكي أوسع من خلال السماح بوجود بتات أس محليّة.
في هذا السياق، نقدم لكم الفورمات المتنوع **MX-SAFE** (MXSF)، الذي يستخدم بشكل تكيفي وضعين مختلفين: الوضع العريض للمانتيزا (FP8 E2M5) ووضع FP غير الطبيعي (FP5 E3M2)، لدعم كل من التدريب والانفاذ المباشر.
علاوة على ذلك، نقترح تصميمًا قائمًا على الكتل لتحسين كفاءة الأجهزة من خلال تقليل عبء عملية إعادة التقليص خلال التدريب باستخدام الفورمات MXSF. بفضل استخدام الفورمات المقترح، تم ملاحظة تحسينات في الدقة تصل إلى 0.05% في الإنفاذ و3.55% في التدريب الكامل مقارنةً بـ MXFP8 E2M5 وMXFP8 E4M3 على التوالي.
ليس هذا فحسب، بل نقدم أيضًا مسرّع تدريب وإنفاذ يدعم الفورمات MXSF، والذي يحقق دقة مشابهة لقاعدة BF16 ولكنه يحقق استهلاك طاقة أقل بنسبة 24.9%.
هل أنتم مستعدون لاستكشاف الإمكانات الجديدة التي يقدمها الفورمات MX-SAFE في عالم الذكاء الاصطناعي؟
MX-SAFE: الفورمات الثوري للتعلم العميق الذي يقلل التكاليف ويحسن الكفاءة!
استعدوا لاكتشاف MX-SAFE، الفورمات المبتكر الذي يساهم في تقليل تكاليف التعلم العميق عبر تحسين دقة التدريبات والإنفاذ. بفضل تصميمه الذكي، يتمكن MX-SAFE من توفير طاقة أكبر مع دقة مشابهة للمعايير العالية.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
