تعتبر نماذج اللغات الكبيرة المتعددة الوسائط (Multimodal Large Language Models - MLLMs) قد حققت تقدماً ملحوظاً في الكشف عن محتويات الفيديوهات القصيرة، إلا أن قدراتها لا تزال محدودة عندما يتعلق الأمر بالفيديوهات الطويلة، وذلك بسبب القيود المفروضة على النوافذ البصرية. في هذا الإطار، تم تقديم نموذج VideoScout، الذي يُسهم في الوصول إلى فهم أعمق للفيديوهات الطويلة بناءً على منهجية تسمى "مشكلات اكتساب الأدلة التسلسلية"

يركز VideoScout على تحليل الفيديوهات على مراحل، حيث يقرأ الفيديو بدوريات طويلة خلال المحور الزمني، متخذاً قرارات حاسمة عن سرعة المشاهدة وأي الأدلة يجب الاحتفاظ بها، ومتى يتوجب عليه إعادة النظر في مقاطع محتملة تتطلب المزيد من الدقة.

تجري عملية تدريب VideoScout عبر مجموعة بيانات ضخمة تُعرف بـ VideoScout-66K، التي تضم أكثر من 66 ألف دورة استكشاف عالية الجودة مستمدة من 10 آلاف مسار مؤكد الإجابة. يتم ذلك من خلال مرحلة تدريجية تتضمن التعلم الموجه والتعلم التعزيزي عبر سياسة العينات الديناميكية، والتي تسعى لتحقيق التوازن بين الدقة وعمق التحليل مع كفاءة القراءة.

تكشف التجارب المكثفة على نماذج الفهم المنطقي للفيديوهات الطويلة أن النموذج ذو الـ 7 مليارات معلمة يقدم أداءً قوياً مقارنةً بالنماذج المنافسة، مما يجعل VideoScout خطوة هائلة نحو تحويل كيفية إدراكنا وتفاعلنا مع المحتوى المرئي الطويل.

في ختام هذا التطور المثير، ما رأيكم في التطبيقات المحتملة لـ VideoScout في المستقبل القريب؟ شاركونا آرائكم في التعليقات!