استكشاف تدهور الكوانتيزات في نماذج اللغات الضخمة: منظور الضوضاء والإشارة

تشهد نماذج اللغات الضخمة (Large Language Models) تزايداً ملحوظاً في استخدامها، ولكن تكاليف نشر هذه النماذج قد تكون مرتفعة. لذا، تمثل الكوانتيزات ما بعد التدريب (Post-training Quantization) حلاً جاهزاً لتقليل هذه التكاليف. إلا أن ما يثير التساؤل هو: ما مدى تأثير تطبيق الكوانتيزات على أداء هذه النماذج؟

أجرى الباحثون دراسة منهجية حول الكوانتيزات، حيث قاموا بتحليل الأداء عبر عدة مؤشرات، مثل عرض البتات (Bit-width)، طرق الكوانتيزات، وأحجام النماذج. توصلت النتائج إلى أن تدهور الأداء ليس مُقاساً ببساطة بعرض البتات؛ فبينما يحافظ عرض البت 4 بشكل عام على الأداء، يؤدي عرض 2 إلى تدهور واضح، ويظهر عرض 3 تدهوراً ملحوظاً يعتمد بشكل كبير على نوع المهمة وطريقة الكوانتيزات وحجم النموذج.

لاستكشاف الأسباب وراء هذا التباين، استخدم الباحثون نسبة الإشارة إلى الضوضاء (Signal-to-Noise Ratio) كمقياس لمدى تأثير الكوانتيزات على تمثيلات الدقة الكاملة. وتوصلوا إلى أن الأخطاء الناتجة عن الكوانتيزات تتعلق بعوامل متعددة، منها حجم خطأ الوزن وقوة الإشارة الخاصة بالمهمة. علاوة على ذلك، يظهر تحليل انتشار الأخطاء عبر الطبقات أنه يمكن تقليل هذه الأخطاء أو تعزيزها أو الحفاظ عليها حسب تصميم النموذج.

تشير هذه النتائج إلى أن تدهور الأداء الناجم عن الكوانتيزات يعتمد على كيفية إدخال الأخطاء وكيفية تراكمها عبر الشبكة. فلنعتبر ذلك دليلاً جديداً على أهمية الفهم العميق لعمليات الكوانتيزات لتحسين أداء نماذج اللغات الضخمة في المستقبل.