في عالم الذكاء الاصطناعي، تتطلع نماذج اللغة الضخمة للفيديو (Video-LLMs) إلى تحقيق قفزات تكنولوجية في كيفية فهم مقاطع الفيديو الطويلة وتفاعلها مع محتواها. ولكن، هل فعلًا تستطيع هذه النماذج تتبع شخصية واحدة خلال حلقة كاملة، وعدم فقدان أي تفاصيل حول ملابسها؟

تدرس الأبحاث الحديثة درجة دقة هذه النماذج من خلال اختبارات تشمل تغير اسم الشخصية في الأسئلة المطروحة. وجدت تجارب تم تطبيقها بواسطة بروتوكول تشخيصي مكون من تسع حالات، باستخدام ثلاثة نماذج مختلفة من Video-LLMs، أن الدقة لم تأتي من قدرة النموذج على تتبع الشخصية المطلوبة، بل من شدتها في التفاعل مع تمييز الجنس. إذ أن النماذج تختار بشكل أفضل عندما يتم تغيير الاسم إلى شخصية من جنس مختلف، بينما تنخفض الدقة بشكل ملحوظ عند مقارنة شخصيات من نفس الجنس.

التحديات لم تتوقف هنا، إذ كشفت الاختبارات أن إضافة ترجمات أو استخدام أكثر الإطارات المعلوماتية لم يؤثر بالإيجاب على قدرة هذه النماذج في الربط بين المحتوى والتعرف على الشخصيات. لذا، فهي تعاني من مشكلة أساسية تتمثل في كيفية ربط المقطع بمحتوى المحددات الشخصية.

وللاستفادة من هذه المعلومات، تم إصدار مجموعة أدوات تشخيصية لتقييم ما تقيسه درجات الأداء عمليًا. فهل تستطيع نماذج الفيديو تجاوز هذه التحديات لتعزيز قدراتها في المستقبل؟

كيف ترى مستقبل نماذج اللغة الضخمة للفيديو؟ هل تعتقد أنها ستتمكن من تحسين أدائها في تتبع الشخصيات؟ شاركونا آراءكم في التعليقات.