أصبح الذكاء الاصطناعي اليوم جزءًا لا يتجزأ من حياتنا اليومية، لكن تحقيق الكفاءة العالية في نماذج اللغة الكبرى (LLMs) لا يزال يمثل تحديًا كبيرًا. هنا تأتي تقنية LC-QAT (Quantization-Aware Training) لتحدث ثورة في هذا المجال!

تعمل معظم الأساليب الحالية على تحسين دقة النماذج باستخدام تقنيات التكميم التقليدية مثل التكميم السُكَّري (Scalar Quantization)، ولكن هذه الطرق تتسبب في انخفاض الأداء بشكل ملحوظ عند استخدام دقة 2-بت. في ظل هذا السياق، أُدخلت تقنيات التكميم المتجه (Vector Quantization) التي توفر سعة تمثيلية أعلى، لكن تقيدها الحاجة إلى البحث في قائمة رموز التخزين المعقدة، مما يعوق التدريب المتكامل.

ومع ذلك، قدمت LC-QAT حلاً مبدعًا، إذ تعتمد على إطار عمل كمي يركز فقط على الأوزان بدقة 2-بت، مما يسمح بتمثيل الأوزان المكممة من خلال رسم بياني متعلم عبر متجهات منفصلة. هذا النهج ليس فقط يحسن من بداية التدريب بعد الكمي (Post-Training Quantization)، بل يُمكن أيضًا من تحسين شامل قابل للتفريق دون الحاجة لاستدعاء رموز التخزين في مرحلة التدريب.

تجارب متعددة على نماذج لغوية متنوعة أظهرت أن LC-QAT تتفوق بشكل مستمر على الأساليب الحالية، مما يُظهر كفاءة استخدام بيانات تصل إلى 0.1% - 10% فقط من مجموع بيانات التدريب المستخدمة سابقًا. تعد هذه النتائج بمثابة تحدٍ كبير للأفكار التقليدية حول تكنولوجيا النماذج منخفضة الدقة وتعزز من إمكانية استخدام LC-QAT كحل عملي وقابل للتطوير في نشر نماذج الذكاء الاصطناعي.