أصبح تحسين كفاءة نماذج اللغة الكبيرة (Large Language Models - LLM) أمرًا حيويًا في عصر يتسم بتزايد الطلب على المعالجة السريعة والفعالة للبيانات. تتطلب عملية Quantization تحويل الأوزان ذات الدقة المنخفضة إلى دقة عالية لإجراء عمليات الضرب المصفوفي، ولكن الخطوة المسماة Dequantization أظهرت أنها عقبة رئيسية في هذا السياق.

تبدو عملية Dequantization وكأنها تستهلك وقتًا أكبر من عمليات ضرب المصفوفات نفسها، مما يحرم الأجهزة الحديثة الكبرى من تحقيق كفاءتها القصوى. هنا يأتي دور تقنية Multi-Scale Dequant (MSD) التي تمثل خطوة ثورية في حل هذه المشكلة.

تعتمد MSD على نموذج Quantization جديد يقوم بتحقيق فك الارتباط بين الأوزان وعمليات Dequantization، من خلال تقسيم النشاطات ذات الدقة العالية (BF16) إلى مكونات ذات دقة منخفضة متعددة. كل مكون من هذه المكونات يمكن ضربه مباشرة بالأوزان المكممة باستخدام تقنية GEMM المدعومة بالأجهزة، مما يمنح نماذج LLM مزيدًا من الكفاءة بدون الحاجة لتحويل الأوزان من INT8 إلى BF16.

أظهرت الدراسات أن تقنية MSD تعمل بشكل فعال مع تنسيقات الأوزان المختلفة، حيث حققت دقة قريبة من 16 بت فعّالة عند استخدام الأوزان INT8، بينما بلغت الأداء للوزن MXFP4 ما يعادل 6.6 بت فعّالة مع حدود خطأ تصل إلى 1/64 لكل كتلة. أكثر من ذلك، أثبتت الأبحاث أن استخدام MSD يقلل بشكل كبير من حركة البيانات في الكاش، مما يحقق فائدة إضافية في كفاءة الذاكرة.

تؤكد المحاكاة العددية على فعالية تقنية MSD في تعزيز أداء نماذج الذكاء الاصطناعي دون التأثير على الدقة النهائية، مما يعد بإنجاز عملي متميز في مسعى تحسين تقنيات الذكاء الاصطناعي. هل أنتم مستعدون لاكتشاف المزيد عن هذه الابتكارات؟ شاركونا في التعليقات.