في عالمنا اليوم، أصبح فهم الفيديوهات تحديًا كبيرًا بسبب كمية البيانات الهائلة والتعقيدات البصرية. يقدم العلماء نموذجًا جديدًا يُعرف باسم VideoRover، الذي يُعتبر إطار عمل مبتكر يجمع بين التفكير في الفيديوهات (Thinking-with-Videos) والأبحاث العميقة (Deep Research). هذا النموذج يدعم الفهم المفتوح للفيديوهات، ويتطلب قدرة النموذج على تحديد الأدلة البصرية النادرة واكتساب معرفة خارجية غير موجودة في الفيديو نفسه.

يعمل VideoRover من خلال تنسيق عملية قطع الفيديو، والبحث المتعدد الوسائط، وتصفح الويب بشكل متتابع وذكي. فعند تقديم سؤال يتعلق بفيديو معين، يقوم VideoRover باستخدام نتائج الأدوات المختلفة لاختيار الخطوة التالية، مما يسمح له بإجراء المزيد من الفحص والتحقق من الفيديوهات المستندة إلى الأدلة المسترجعة من الويب.

لتطوير هذه القدرة، أُنشئ خط تجميع بيانات آلي ينتج 26000 مسار مُحقق و3000 حالة تحدي. كما تم إدخال VideoRover-Bench، وهو معيار مصنف حسب مدة الفيديو وصعوبة البحث. تظهر التجارب على VideoDR وVideoRover-Bench أن نموذج VideoRover-8B-RL يحقق أداءً مماثلاً للنماذج الاحتكارية في إعداد الإجابات المباشرة دون استخدام الأدوات، بينما يتفوق على نماذج مفتوحة المصدر الأكبر التي تستخدم نفس مجموعة الأدوات.

في الختام، يشير البحث إلى أهمية الأدوار التكميلية للتأصيل النشط للفيديو، والاسترجاع الخارجي، والتعلم المعزز طويل الأمد. هل تتوقعون أن يساهم هذا النموذج في تغيير طريقة تفاعلنا مع الفيديوهات والأبحاث؟ شاركونا آراءكم في التعليقات!