تعد الثورة التي يشهدها مجال فهم الفيديو بمساعدة نماذج اللغات الضخمة متعددة الوسائط (MLLMs) واحدة من أبرز التطورات التقنية في السنوات الأخيرة. فاليوم، لم تعد الأبحاث مقتصرة على معالجة مقاطع الفيديو القصيرة، بل انتقلت إلى سيناريوهات أطول وأغنى بالمعرفة، مما يتطلب من هذه النماذج التعامل مع قضايا معقدة مثل الأدلة النادرة، والاعتمادات الطويلة المدى، والتوافق بين الوسائط، والاعتماد على استدلال موثوق ضمن ميزانيات حوسبة محدودة.

يعرض هذا العمل منظوراً إنسانياً لفهم الفيديو القائم على نماذج اللغات، حيث يتم تنظيم المعلومات حول ثلاث قدرات وظيفية رئيسية: المشاهدة، التذكر، والتفكير. بدلاً من النظر إلى مهام الفيديو كمعايير منفصلة، يقدم هذا المنظور هيكلاً موحدًا لتحليل كيفية اكتساب مخرجات الفيديو، والحفاظ على السياق، وإنتاج النتائج المستندة إلى الأدلة.

يتم تقديم صياغة جديدة تعرّف أنظمة فهم الفيديو بناءً على تمثيلاتها الإدراكية، وحالات الذاكرة، وآثار التفكير، والتوقعات النهائية. ومن خلال هذه الصياغة، يتم تحديد التحديات المتعلقة بالإدراك الزمني المكاني، ومعالجة الفيديوهات الطويلة بكفاءة، ونمذجة الذاكرة، وفهم التدفق، والتفكير الدقيق.

تتناول الدراسة طريقة«المشاهدة» التي تشمل الإدراك الدقيق والشامل، والمعلومات السمعية البصرية، و«التذكر» الذي يتضمن الذاكرة التقليدية والتدفق، بينما يغطي «التفكير» الاستدلال القائم على النص والتفكير باستخدام الفيديو.

هذا البحث لا يقتصر فقط على فهم الفيديو، بل يستعرض أيضاً التطبيقات العملية في مجالات مثل الفيديوهات الذاتية، والرياضية، والاستدلالية، والطبية، والسردية. ويغطي مقاييس التدريب والمعايير التقييمية على مختلف أنواع المهام، وأشكال الإشراف، والوسائط، وأبعاد القدرات.

في النهاية، تسلط الدراسة الضوء على المشكلات المفتوحة والاتجاهات المستقبلية لتحقيق ذكاء فيديو قابل للتوسع، واعي بالذاكرة، مستند إلى الأدلة.