في عصر الذكاء الاصطناعي، تعتبر كفاءة استخدام الذاكرة والتكاليف التشغيلية أمراً حيوياً، خاصة عند التعامل مع نماذج لغوية ضخمة (Large Language Models). هنا تأتي أهمية تقنية قياس النموذج بعد التدريب (Post-Training Quantization - PTQ)، التي تهدف إلى تقليل الذاكرة والتكاليف الحسابية للنماذج الكبيرة. قدمت تقنيات PTQ التقليدية نماذج أولية تعتمد على قواعد حدسية أو تحسين جشع، ويتم عادةً التعامل مع التخصيصات النهائية على أنها نهائية.

لكن لماذا نعود إلى النقطة ذاتها؟ يتطلب الأمر تحسينًا إضافيًا بعد إنشاء النموذج الكمي. هنا تدخل تقنية ReQuant، وهي إجراء تحسين ثابت بناءًا على شبكة محددة، يمكنها تحسين الأوزان المخصصة حتى بعد إنتاج الأداة التنفيذية. لا ترتبط ReQuant بنموذج PTQ محدد، بقدر ما تأخذ نموذجًا كميًا قائمًا كنقطة انطلاق، وتعيد زيارة التخصيصات على الشبكة المحددة بطريقة مكررة. هذه التقنية تضمن تقليل متوسط خطأ الإنشاء المعيني، بينما تبقى التحديثات ضمن الشبكة الأصلية.

تظهر التجارب عبر نماذج ونطاقات بت متنوعة أن ReQuant تعزز بشكل مستمر النماذج المخصصة التي انطلقت من مُهيئات PTQ متنوعة. وخاصةً، تحقق مكاسب كبيرة عند استخدام مُهيئات بسيطة ونطاقات بت منخفضة. والأكثر إثارة، يمكن أن تقوم ReQuant بتحسين تهيئة بسيطة حتى تتجاوز نتائج نماذج مثل GPTAQ.

تجعل هذه النتائج من ReQuant مرحلة تكاملية عملية لتحسين عمليات PTQ الحالية. هل أنتم متحمسون لمزيد من التطورات في تقنيات الذكاء الاصطناعي؟ شاركونا آرائكم في التعليقات!