في خطوة جديدة نحو تحسين جودة إنتاج الفيديوهات العلمية، تم إطلاق Sci-VBench، معيار متكامل يهدف إلى تقييم الفيديوهات التي تعتمد على المعرفة والتفكير عبر مجالات العلوم المختلفة. يحتوي Sci-VBench على 1,253 مثالاً تمت مراجعتها بواسطة خبراء تغطي 60 موضوعاً علمياً موزعة على أربع مجالات أساسية وهي: العلوم الطبيعية، الرعاية الصحية، العلوم الإنسانية والاجتماعية، والهندسة.

هذا المعيار يتجاوز حدود التقييم السطحي لجودة الفيديو، حيث يتطلب من النماذج البحث عن توليد فيديوهات غنية زمنياً، تستند إلى معرفة علمية وتفكير منطقي. ولقد تم وضع بروتوكول تقييم يعتمد على معايير دقيقة، مما يسمح بإجراء تقييمات قابلة للتكرار على نطاق واسع.

تشير التحليلات التي أجريت ضمن هذا البروتوكول إلى أن كل من المحكمين غير الخبراء وأنظمة MLLM-as-Judge يمكن أن تحقق توافقاً عالياً نسبياً مع أحكام الخبراء، مما يدعم تقييم النتائج بشكل موثوق.

كما تم إجراء اختبارات على 16 نموذجاً رائداً، سواء كانت تجارية أو مفتوحة المصدر، وُجد أن أغلبها حققت درجات متقاربة في جودة التصور التلقائي، إلا أن الأداء في مجالات مثل تأصيل المشهد وصحة المعلومات العلمية والديناميات السببية يختلف بشكل كبير، مما يُظهر الفجوة الواضحة بين النماذج التجارية والمصادر المفتوحة.

تُظهر هذه النتائج أن التقدم في الواقعية البصرية لم يُترجم بعد إلى موثوقية في نمذجة الديناميات العلمية والسببية. هذه النتائج تفتح آفاقاً جديدة تفيد المتخصصين في علوم الفيديو والتكنولوجيا، وتقودنا نحو تحسين أدواتنا في إنتاج محتوى علمي دقيق وموثوق.