للتغلب على هذه المشكلة، يتم عادةً اللجوء إلى اختيار إطار رئيسي. ولكن الطريقة التقليدية في تحديد هذه الإطارات قد تفتقد للعديد من العوامل الزمنية الهامة، مما يؤدي إلى إغفال السياق الحيوي للمشاهد. في هذا السياق، قدم باحثون مؤخرًا إطارًا مبتكرًا يُعرف باسم ReMem، والذي يتكيف مع تباينات السياقات الزمنية بدون الحاجة لتدريب مسبق.
ReMem؟ ">ماذا يقدم إطار ReMem؟
يقدم ReMem آلية اختيار إطار رئيسي تعتمد على الذاكرة وإدارة السياقات الزمنية بطريقة مزدوجة. احدى هذه الآليات، هي تحليل الأسئلة المدفوعة بالذاكرة، حيث تستفيد من الذاكرة طويلة الأمد لنموذج اللغة لفهم طبيعة السؤال وتحديد كتلته الزمنية، مما يساعد في استخراج الكيانات الدلالية.
وعلى مستوى الفيديو، فإن محاذاة الإطارات الدلالية الثنائية تعمل على استغلال الذاكرة الهيكلية الداخلية لمحاذاة الإطارات مع معاني الأسئلة، مما يمكّن من توجيه نظام التوجيه الديناميكي المدرك للهيكل لجمع الأحداث وتوزيع ميزانية العينة بشكل مثالي.
من خلال الحفاظ على المعلومات الزمنية بوضوح عبر آليات الذاكرة، يضمن ReMem تقليل التكرار وتمكين نماذج اللغات الكبيرة المتعددة الوسائط من إجراء تفكير متعدد الأبعاد في الفيديو.
تقييمات مذهلة ">تقييمات مذهلة
وقد أظهرت التقييمات في أربعة معايير شهيرة لاختبار LongVideoQA، أن الأداء الفوري للذكاء الاصطناعي قد تطور بشكل كبير، حيث حقق نموذج LLaVA-Video مع استخدام ReMem نسبة 54.5% (+12.3%) على LVBench ونسبة 67.1% (+8.2%) على LongVideoBench. هذا التطور لا يعكس فقط فعالية الإطار الجديد، بل يؤكد أيضًا على التجديد المستمر في عالم الذكاء الاصطناعي.