في عالم تحديات الذكاء الاصطناعي، الجيل الحالي من نماذج الفيديو الكبيرة (Video LLMs) تُظهر القدرة المتزايدة على الإجابة على الأسئلة (QA). ولكن، رغم هذه القدرات، فإنها لا تزال تتعامل كبلاك بوكس، حيث تقدم إجابات نصية تفتقر إلى الأدلة المرئية القابلة للتحقق. إن جهود الشفافية الحالية تعتمد أساسًا على الشروحات النصية أو على صناديق التحديد القليل، مما يجعلها غير كافية لالتقاط الديناميات المعقدة للفيديو مثل الحجب والتشوهات غير الصلبة.

لذا، يظهر إلى الوجود مفهوم جديد يسمى الإجابة على الأسئلة المدعومة بالأدلة (E-VQA)، وهو مهمة مبتكرة تتطلب من النماذج تقديم إجابة دلالية بالإضافة إلى أدلة مكانية-زمانية دقيقة، والتي تشمل مقاطع زمنية وشرائح تقسيم كائنات دقيقة ومتابعة لها.

لدعم هذا، تم تقديم مجموعة بيانات جديدة تُعرف باسم ST-Evidence، وهي الأولى من نوعها التي تم التحقق منها من قبل البشر وتدعم كل من التمييز والتوليد المرجعي على مستوى البيكسل. تكشف التقييمات التي تم إجراؤها على النماذج المتقدمة عن وجود فصل حرج بين دقة الإجابة وإدراك الحقيقة المرئية، وهي فجوة لا يمكن تغييرها عبر التوسع وحده.

ولمعالجة هذا الموضوع، تم تطوير خطوط أنابيب توليد آلية قابلة للتوسع لإنشاء مجموعة بيانات ST-Evidence-Instruct بحجم 160 ألفًا، مما يساهم في ربط التفكير العالي بالأسس الدقيقة. وقد أدت عملية تحسين نماذج الفيديو المدعومة على بيانات هذه المجموعة إلى تحقيق مكاسب ملحوظة مقارنة بمعايير UniPixel ذات الحجم المطابق (مثل +27.2 t-mean و +13.8 J&F على نموذج 7B)، والتي تؤسس قاعدة قوية لفهم الفيديو المدعوم بالأدلة ويمكن تفسيره.

للراغبين في المزيد من المعلومات، يمكن الوصول إلى الشيفرة والبيانات عبر رابط المشروع. ما رأيكم في هذا التطور الثوري؟ شاركونا في التعليقات!