أعلنت الأبحاث الحديثة عن إطلاق VGI-Bench، أداة جديدة تهدف إلى تقييم القدرات البصرية لنماذج توليد الفيديو. جاءت هذه الخطوة بعد أن أظهرت الدراسات أن هذه النماذج يمكن أن تُظهر بعض أشكال التفكير البصري بدون إشراف مباشر (zero-shot visual reasoning) من خلال الإطارات التي تُنتجها.

ومع ذلك، يبقى التقييم موضع تحدٍّ بسبب الحاجة إلى معايير تداخل مع البصريات الحالية لنماذج الفيديو. ولذلك، تم تطوير VGI-Bench ليضم 27 مهمة و810 حالة، مقسمة ضمن تصنيف من مستويين لتحديد مجالات المهام وسمات المهارات، مما يعزز تقييم القدرات البصرية بصورة دقيقة.

تظهر التقييمات أن هذه الأنظمة الحالية يمكنها حل مجموعة من المهام البصرية، لكن نتائجها لا تزال بعيدة عن الاعتمادية. حيث لا تتجاوز النماذج الأقوى، مثل Seedance 2.0، نسبة نجاح تصل إلى 51% فقط وفقًا لمعايير التقييم الجديدة. تعكس تحليلاتنا أيضًا أن هناك صعوبات في تصحيح الأخطاء، حيث تركز الخطوات التالية على تحسين الافتراضات الأولية بدلاً من تصحيح الأخطاء النابعة من المنطق.

من خلال VGI-Bench، نأمل في تحفيز تطور النماذج المستقبلية لتوليد الفيديو. كما سنقوم بإصدار الأكواد والبيانات المتعلقة بهذه المبادرة لمساندة المجتمع في تحقيق مزيد من التقدم.