في عالم الذكاء الاصطناعي، يعد تقليل دقة التدريب وسيلة رئيسية لتعزيز كفاءة نماذج اللغات الضخمة (Large Language Models - LLM). ومع ذلك، يعتبر التحول من دقة FP8 إلى FP4 تحدياً ملحوظاً بسبب عدم الاستقرار أثناء عملية التحسين. وقد حدد الباحثون مصدراً رئيسياً لهذا عدم الاستقرار في الأساليب التقليدية لتصغير المقياس: التناسق غير المتوازن الذي يسببه تغيير موضع المصفوفات.

في طرق الكوانتازة التقليدية، يخصص المرور الأمامي (forward pass) والمرور الخلفي (backward pass) عوامل مقياس مختلفة لنفس القيم بعد الترانسبوز، مما يؤدي إلى تحديثات غير دقيقة وغير مستقرة. لمواجهة هذه المشكلة، يقترح الباحثون إطار عمل جديد يعتمد على كوانتازة FP4 ثنائية الأبعاد، والتي تفرض تناسق المقياس على العمليات الأمامية والخلفية.

كما يدمجون هذا مع تقنية تصغير غير المحدد وتقنية التقريب العشوائي للسيطرة على خطأ الكوانتازة والحفاظ على تحديثات غير منحازة. ومن أجل التعامل مع حساسية آليات الانتباه، استخدموا كوانتازة MXFP8 لمشاريع الاستفسار والمفتاح، مما يتيح تصميم دقيق الخلط.

تم تقييم هذه الطريقة على نماذج LLM الكثيفة حتى 7 مليارات معلمة، ونموذج Mixture-of-Experts بحجم 30 مليار، تمت تدريبه على ما يصل إلى 100 مليار توكن. أثبتت النتائج أن الطريقة الجديدة تحقق تدريباً مستقراً باستخدام FP4، مع أداء قريب من تقنية BF16، وانخفاض بنسبة أقل من 1.3% في الدقة العامة.

تظهر هذه النتائج أن فرض تناسق المقياس بين العمليات الأمامية والخلفية كافٍ لتفعيل التدريب العملي باستخدام FP4، مما يوفر طريقاً بسيطاً وفعالاً نحو تدريب أكثر كفاءة لنماذج اللغات الضخمة.