في السنوات الأخيرة، شهدت عملية فهم مقاطع الفيديو تقدماً ملحوظاً بفضل نشر العديد من مجموعات البيانات الكبيرة. لكن، على الرغم من هذا التطور، لا يزال التركيز قليلاً على مقاطع الفيديو القصيرة المُنتَجة من قِبل المستخدمين التي تنمو شعبيتها يوماً بعد يوم. لذلك، تم إطلاق مجموعة بيانات USV (مقاطع الفيديو القصيرة المُنتَجة من قِبل المستخدمين) التي تهدف إلى تعزيز فهم هذه النوعية من المحتوى.

تحتوي مجموعة بيانات USV على حوالي 224 ألف مقطع فيديو تم جمعها من منصات المحتوى المُنتَج من قِبل المستخدمين، وذلك باستخدام استعلامات تصنيف دون الحاجة إلى تحقق يدوي إضافي أو تقليم. على الرغم من أن خطوات تحقيق فهم الفيديو قد حققت تقدماً، إلا أن معظم الأبحاث تستهدف التعرف على المستويات الفردية، وهو ما لا يكفي لفهم المعلومات الدلالية العالية في الفيديوهات.

لذلك، تم تصميم مهمتين رئيسيتين ضمن هذا المشروع: التعرف على المواضيع واسترجاع الفيديو والنص. وقد تم اعتماد طريقتين أساسيتين موحدتين وفعالتين تتمثل في شبكة دمج الوسائط المتعددة (Multi-Modality Fusion Network - MMF-Net) والتعلم التبايني بين الفيديو والنص (Video-Text Contrastive Learning - VTCL)، وذلك للتعامل مع مهمة التعرف على المواضيع واسترجاع الفيديو والنص على التوالي.

من خلال إجراء تقييمات شاملة، يفتح مشروع USV آفاقاً جديدة للبحوث المستقبلية في هذا المجال ويعزز من قدرات الباحثين والمهتمين بفهم تعقيدات المحتوى الفيديوي. لمزيد من التفاصيل، يمكنكم زيارة صفحة المشروع.