إبداع رياضي: تقليل عمليات ضرب المصفوفات بمصفوفات مُخفضة لتحسين أداء نماذج اللغات الضخمة

يعتبر عالم الذكاء الاصطناعي مثار اهتمام كبير في السنوات الأخيرة، حيث حققت نماذج Transformer، المعروفة بقوتها، أداءً متميزاً، إلا أن التكلفة العالية لعمليات استدلالها تشكل تحدياً كبيراً. في دراسة جديدة منشورة على arXiv، تم تقديم تقنية مبتكرة تُعرف باسم "عمليات ضرب المصفوفات المُخفضة" (Reduced Matrix Multiplication - RMM)، والتي تهدف إلى تقليل هذه التكاليف بشكل فعال.

تعمل تقنية RMM على تحسين عمليات ضرب المصفوفات المستخدمة في نماذجTransformer من خلال اختيار قطع معينة خلال أبعاد الانكماش، مما يتسبب في تقليل الأعباء الحسابية دون تعديل أوزان النموذج. من خلال التحكم في نسبة الاحتفاظ البسيطة، توفر RMM توازنًا سلسًا وقابلًا للتنبؤ بين الدقة والكفاءة.

تشير النتائج إلى أن تحمل التخفيض يعتمد على عائلة النموذج والمهمة والمكون ونسبة الاحتفاظ، ولكنه غالبًا ما يتحسن مع زيادة حجم النموذج. وقد أظهرت التقنية الجديدة مرونة ملحوظة في مختلف الإعدادات، بما في ذلك نماذج التصنيف والتوليد الذاتي والإعدادات طويلة السياق.

كما أظهرت الدراسة أن نفس المبدأ يمكن أن يمتد إلى الاستدلال متعدد الوسائط بين الرؤية واللغة، مما يفتح آفاقًا جديدة في كيفية التعامل مع البيانات المرئية والنصية معًا. من خلال تقنيات الأبعاد الهيكلية، يتضح أن عمليات الحساب من جهة الانتباه يمكن تقليلها بشكل أكبر من مكونات الشبكة العصبية.

أخيرًا، تشير الاختبارات العملية التي أُجريت على رقائق NVIDIA A100 إلى أن المدخرات الحاسوبية الناتجة عن هذه الطريقة يمكن أن تترجم إلى مكاسب عملية في وقت التشغيل، خاصةً عند التعامل مع تسلسلات طويلة. هذه النتائج تجعل RMM اتجاهاً قابلاً للتوسع في تحسين زمن الاستدلال المتكيف.

فما رأيكم في هذه التقنية؟ هل تعتقدون أنها ستمثل ثورة في تحديث تقنيات الذكاء الاصطناعي؟ شاركونا في التعليقات!