في زمن تتسارع فيه التطورات في مجال الذكاء الاصطناعي، تطورت نماذج الرؤية باللغة (Vision-Language Models) بشكل كبير، مما يجعل إمكانية فهمها للعناصر المرئية أكثر تعقيدًا. ولكن، ماذا عن قدرتها على الاستدلال الزمني؟ هذه هي النقطة التي تتناولها دراستنا الجديدة.

تقدم هذه الدراسة معايير مبتكرة لتقييم كيف تدرك هذه النماذج المعلومات الزمنية عبر الصور المختلفة. بدلًا من التركيز على تسلسل الإطارات كما هو موضح في اختبارات الفيديو السابقة، نستكشف منطق الحكم الزمني والاندماج المتعدد الأنماط.

لتحقيق ذلك، قمنا بإنشاء ثلاثة مجموعات بيانات متخصصة: الأولى تحتوي على أشياء مرئية مشابهة تمتد عبر فترات تاريخية طويلة، والثانية مصنفة حسب تنوع الأحداث وأنواع الأجسام، والثالثة تربط الصور بنصوص إخبارية تتعلق بالزمن لتحقيق توافق عبر الأنماط.

من خلال تجارب موسعة، قمنا بتحليل ما إذا كانت النماذج تظهر فروقًا في الأداء عبر الفئات المختلفة. والأهم من ذلك، استكشفنا ما إذا كانت تعتمد على "اختصارات غير صحيحة"، مثل لون الصورة بدلاً من الميزات الزمنية الحقيقية. وجدنا أن النماذج، رغم وعودها، تميل إلى استغلال مؤشرات سطحية مثل الفلاتر الرمادية مقابل الملونة للتجاوز عن الاستدلال الزمني الحقيقي.

إن هذه المعايير والبيانات عالية الجودة المقدمة تمثل أداة تشخيصية للكشف عن القيود الحالية، مما يساعد في توجيه تطوير نماذج متعددة الأنماط أكثر قوة واستنادًا إلى المنطق. لمزيد من التفاصيل، يمكنكم زيارة ChronoVision GitHub.