في عصر تتزايد فيه الاعتماد على نماذج الذكاء الاصطناعي لفهم الفيديو، تقود الأبحاث إلى ضرورة إعادة النظر في كيفية تقييم فعالية هذه النماذج. إذ تظهر الأبحاث أن التقييمات التقليدية لا توفر إشارة دقيقة لمصادر الأخطاء، مما يجعل من الصعب تحديد الأسباب الرئيسية للهلوسات الناتجة عن المراحل المختلفة التي تمر بها نماذج الذكاء الاصطناعي.

تقوم النماذج متعددة المراحل، المعروفة بموديلات اللغات الكبيرة (Large Language Models)، بتقسيم العمليات إلى مراحل تشمل التأسيس الزمني، الملاحظة البصرية، والتفكير. ومع ذلك، يتم تقييم هذه المراحل بشكل منفصل، مما يخلق تناقضات في النتائج. وهنا، يدخل بروتوكول التدخل السببي ليعيد تنظيم طرق التقييم عن طريق التعديل على كل مرحلة بينما يتم تثبيت المهمة downstream.

من خلال إجراء 60,008 اختباراً على ثلاث بنى معمارية لوكيل الفيديو، اتضح أن التأسيس الزمني يمثل المصدر المسيطر للأخطاء، مع تأثير سببي أكبر بنحو أربع مرات مقارنة بالتشويش في الملاحظات البصرية. وبالتالي، تعتمد عملية التأسيس الناجحة بشكل كبير على تحديد المنطقة الصحيحة بدلاً من التداخل الزمني الدقيق، مما يفسر لماذا تفشل مقاييس المIoU التقليدية في التنبؤ بالموثوقية.

علاوة على ذلك، تبين النتائج أن الأدلة الخاطئة أكثر ضرراً من الأدلة المفقودة. من خلال مراجعة التقييمات الحالية وفقاً لهذه التدخلات، تكشف البيانات أن النتائج لا تتنبأ دائمًا بدقة حساسية السلسلة السببية ويمكن أن تفشل في ظل تغير التوزيع.

تجعل هذه النتائج من الضروري تبني طرق تقييم تعتمد على التدخلات وتراعي المراحل المتعددة للحصول على وكلاء الفيديو الموثوقين. فهل حان الوقت لإعادة التفكير في كيفية قياس أداء نماذج الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات!