ثورة في الذكاء الاصطناعي: MM-ShiftKV يحل أزمة اختيار مفاتيح القيمة في النماذج متعددة الوسائط

في العصر الحديث للذكاء الاصطناعي، تستمر التقدمات في إحداث ثورة في الطريقة التي نتفاعل بها مع البيانات المعقدة. من بين هذه التقدمات، تبرز تقنية جديدة تحمل اسم MM-ShiftKV، التي تُعتبر بمثابة الحل الأمثل لمشكلة اختيار مفاتيح القيمة (Key-Value Caching) في النماذج متعددة الوسائط (Multimodal Large Language Models).

تُعتبر عملية تخزين مفاتيح القيمة أمرًا حيويًا لضمان كفاءة الاستدلال في هذه النماذج، إلا أن أحد أبرز التحديات هو الزيادة المطردة في استهلاك الذاكرة بحسب طول السياق. حيث يُعد الاشتباك المتزايد في عدد الرموز البصرية بمثابة نقطة اختناق تؤثر سلبًا على الأداء. وقد أظهرت الأبحاث أن طرق اختيار المفاتيح استنادًا إلى إحصائيات التهيئة قد تفترض بشكل غير صحيح أن الاستفسارات في مرحلة التهيئة تعكس تلك الموجودة أثناء مرحلة فك التشفير، وهو افتراض يتضح أنه غير دقيق في سياق الاستدلال متعدد الوسائط.

يقوم MM-ShiftKV بطرح نموذج لا يتطلب تدريبًا، ويستخدم أساليب جديدة في اختيار مفاتيح القيمة، مستندًا إلى سلوك الاستفسارات وقت التشفير من خلال إنشاء نماذج تمثيل موسعة تعكس تنوع استفسارات الفهم. يتم قياس أهمية مفاتيح القيمة بناءً على كتلة الانتباه الخاصة بها، مما يسمح بتحسين الأداء بشكل ملحوظ، لا سيما في ظل قيود ذاكرة صارمة.

أظهرت التجارب على قياسات متعددة الوسائط أن MM-ShiftKV يتفوق باستمرار على الطرق الحالية في ظل قيود ذاكرة صارمة، مما يضمن اختيار الرموز الحيوية بشكل أكثر دقة ويعزز الأداء العام للنماذج. للساعين وراء الاستفادة من هذه التكنولوجيا، يوفّر الرابط التالي الشيفرة المصدرية: [رابط الشيفرة].

ما رأيكم في هذه التطورات المذهلة في عالم الذكاء الاصطناعي؟ شاركونا بآرائكم في التعليقات!