تعتبر عملية تحليل الفيديو من القضايا المحورية في مجال الذكاء الاصطناعي، خاصة مع تزايد استخدام نُظم التعلم العميق مثل نماذج التحول (Transformers). لكن معالجة مقاطع الفيديو الطويلة تتطلب تقنيات فعالة لتقليص عدد الرموز المستخدمة وتحسين الأداء. هنا يأتي الابتكار الجديد المتمثل في تقنية "تحليل الفيديو القائم على المسارات" (Grounded Video Tokenization) التي تقدمها تقنية TrajViT.

نموذج TrajViT يعتمد على تنظيم الرموز وفقاً للمسارات الفرعية الكاملة (Panoptic Sub-object Trajectories) بدلاً من الاستناد إلى أجزاء ثابتة، مما يضمن أن عملية التشفير تعكس تعقيد المشهد بدلاً من طول الفيديو. هذه الاستراتيجية تساعد على تقليص عدد الرموز بشكل ملحوظ وتقليل التكرار، مع المحافظة على الترابط الزمني للمعلومات.

أثبتت تجربة النموذج فعاليته مقارنةً بالنماذج التقليدية، حيث سجل TrajViT تفوقاً ملحوظاً في العديد من معايير فهم الفيديو، مثل تفوقه على نموذج ViT3D بنسبة 6% في استرجاع الفيديو والنصّ مع تخفيض عدد الرموز بمقدار 10 مرات. كما أثبت TrajViT أنه نموذج قوي للنماذج الحديثة (VideoLLM) حيث حقق زيادة متوسطة تبلغ 5.2% في الأداء عبر 6 معايير لفهم الفيديو، مع توفير سرعة تدريب أعلى بمعدل 4 مرات وتقليل استهلاك الموارد الحسابية بنحو 18 مرة.

بهذا الابتكار، يصبح TrajViT من أوائل نماذج التحليل التي تتفوق بشكل مستمر على ViT3D، مما يجعلها حلاً موثوقاً وقابلاً للتوسع في تحليل الفيديو. هل أنتم مستعدون لاستكشاف المزيد عن هذه التقنية الجديدة وتجربتها في مشاريعكم؟ شاركونا آرائكم في التعليقات!