في عالم التحول الرقمي وتزايد المحتوى المرئي، تبرز الحاجة إلى أدوات تكنولوجية متطورة لفهم وتحليل مقاطع الفيديو بشكل أعمق. وفي هذا الإطار، يأتي مشروع CaptionFormer، الذي يقدم أسلوبًا جديدًا وجذابًا للتعامل مع تحديات تصنيف الأجسام في مقاطع الفيديو.

التصنيف الكثيف لمقاطع الفيديو (Dense Video Object Captioning - DVOC) يتطلب فهماً دقيقًا للتفاصيل المكانية والزمانية (spatio-temporal)، بالإضافة إلى القدرة على وصف هذه التفاصيل بلغة طبيعية. ومع تعقيد هذه المهمة والتكاليف العالية المرتبطة بالتعليقات اليدوية، اعتمدت الطرق السابقة على استراتيجيات تدريب تعتمد على بيانات محدودة، مما أدى إلى أداء دون المأمول.

للتغلب على هذه العقبة، ابتكر فريق البحث طريقة جديدة تعتمد على نموذج لغوي متقدم (VLM) لتوليد تعليقات حول الكيانات المحلية زمنيًا ومكانيًا، مع توسيع مجموعتي بيانات LVIS و LV-VIS باستخدام تعليقاتنا الاصطناعية (LVISCap و LV-VISCap).

كما يقدم CaptionFormer نموذجًا متكاملاً قادرًا على الكشف عن الأجسام، تقسيمها، تتبعها، وتوصيف مساراتها في الوقت نفسه. وقد حقق CaptionFormer نتائج غير مسبوقة في تصنيف الأجسام في مقاطع الفيديو على ثلاثة مقاييس موجودة: VidSTG، VLN وBenSMOT.

إذا كنت مهتماً بالتكنولوجيا الحديثة في مجال تحليل الفيديو، يمكنك الاطلاع على المزيد من المعلومات حول CaptionFormer والرموز المصدرية الخاصة به عبر الرابط [https://www.gabriel.fiastre.fr/captionformer/]. فما رأيكم في هذه التطورات المثيرة؟ شاركونا آرائكم في التعليقات!