في عالم الذكاء الاصطناعي، تتجه الأبحاث نحو تحسين الكفاءة وتقليل التعقيد في التعامل مع البيانات الكبيرة. وفي هذا الإطار، يقدم البحث الجديد عنوان "مضاعفة المصفوفات الكمية" (Quantized Matrix Multiplication) ثورة في كيفية أداء نماذج اللغة الكبيرة (Large Language Models) من خلال تحسين تقنيات الكميّة.

في الجزء الأول من هذا البحث، تم تقييم عملية الكميّة دون الحاجة إلى معايرة، بينما يتعمق الجزء الثاني في بيئة تتيح استخدام مصفوفة التغاير (Covariance Matrix) للعنصر الثاني. هذه التطبيقات تُعتبر حيوية جداً في عملية الكميّة المدروسة ما بعد التدريب، وهي تعزز من جودة النماذج في المهام المختلفة.

تتناول الدراسة كيفية توزيع المعدل بين الإحداثيات المختلفة داخل المصفوفة لتخفيف الأخطاء وزيادة الفعالية. تقدم الدراسة نظاماً معروفاً باسم "WaterSIC"، الذي يعتمد على الكميّات القياسية (Scalar Quantizers) ويظهر أداءً متميزاً، بعيداً عن قيود الأساليب الحالية.

وبعض النتائج المثيرة تشمل أن هذا النظام الجديد يتسم بالتحرر من الأساسيات، مما يجعله محصناً ضد التأثيرات العشوائية مثل الدورانات العشوائية. كما أن أداء "WaterSIC" يتقارب بشكل مذهل مع الحدود النظرية للتشويه المعلوماتي، مما يعكس الكفاءة العالية لهذا النظام.

بالنظر إلى أداء تقنية "GPTQ"، نجد أنها تتأثر بنوع الأساس المستخدم، ولكن مع الدورانات العشوائية والمصفوفات المستخلصة من أنظمة مثل "Llama-3-8B"، يتحسن الأداء ليصبح قريبًا من نموذج "WaterSIC"، مما يؤكد فعالية هذه الأساليب المتقدمة في تحسين نتائج نماذج الذكاء الاصطناعي.

باختصار، تأكيد هذه الاكتشافات يشير إلى تحول محتمل في كيفية التعامل مع الكميّة في نماذج اللغة الكبيرة، وقد تُحدث هذه الأساليب الجديدة تغييرًا جذريًا في المجال.
ما رأيكم في هذه الأطروحات الجديدة؟ شاركونا آراءكم واهتماماتكم!