في عالم معالجة الفيديو، تعتبر القدرة على ربط الأحداث والأشخاص أمراً بالغ الأهمية. ولكن، كانت معظم المهام الموجودة حتى الآن تعتمد على إعداد مبسط يتضمن الفيديو والنص، مما يقيد فعالية البحث عن الهوية وعدم القدرة على فهم السياقات الفعلية. لمواجهة هذه التحديات، تم تقديم مفهوم 'استعلامات مشروطة بالهوية' (ICQ)، والذي يتطلب من النماذج ربط فيديو معين بصورة مرجعية لشخص، مما يسهل معالجة مفهوم الهوية وفهم السلوك.

يأتي المشروع الجديد بعنوان 'أبحث عنك في الفيديوهات' (ISYV) كحل شامل يتكون من ثلاثة مكونات رئيسية. الأول هو ISYV-Bench، والذي يعد معيار تقييم صعب يقدم مجموعة من 1,377 فيديو من العالم الحقيقي، وزوج من الأسئلة والأجوبة مرتبة ضمن ست مستويات صعوبة.

أما المكون الثاني، فهو ISYV-75K، وهو مجموعة تدريب ضخمة تضم 75,000 عينة عالية الجودة. تم تطوير هذه المجموعة باستخدام أساليب آلية، تحقق متعددة المراحل، ومراجعة يدوية لضمان دقة البيانات.

وأما المكون الثالث، ISYV-Framework، فيحتوي على نموذج موجه نحو استعلامات الهوية واستراتيجية تدريب تستفيد من اللقطات المعلوماتية في الفيديو دون الحاجة لتوصيف إضافي.

تظهر التجارب أن نماذج التعلم الآلي المعروفة تواجه صعوبة في تحقيق معايير ISYV-Bench، خاصة في مجالات مطابقة الهوية عبر المجالات المختلفة والمتابعة طويلة المدى. ومع ذلك، يظهر نموذج ISYV أداءً متفوقاً مقارنةً بالمعايير القوية ويقترب في بعض الجوانب من أداء النماذج المغلقة.

بشكل عام، يقدم ISYV تعريفاً موحداً للمهام، وقواعد بيانات ومعايير قابلة للتوسع، ورؤى نمذجة تعزز المعالجة الموجهة نحو الأشخاص في الفيديوهات.