تحديات معالجة الفيديو: استراتيجية تكيف جديدة للنماذج اللغوية الضخمة تعزز الأداء

تواجه المنصات الكبرى لمقاطع الفيديو تحديات هائلة في عملية الإشراف، حيث تتطلب معالجة ملايين التحميلات في كل ساعة تحديد مكان وزمان حدوث انتهاكات السياسات بشكل دقيق. لكن، تبين أن تحليل كل إطار في الفيديو يعتبر أمرًا غير عملي في ظل هذه الكثافة الهائلة، مما يضطر الأنظمة للاعتماد على مدخلات غير متماسكة تتكون من 8 إلى 16 إطارًا فقط.

تظهر الأبحاث الحديثة أن النماذج اللغوية الضخمة متعددة الوسائط (MLLMs) تم تدريبها على بيانات تحتوي على تسلسل كثيف من مئات الإطارات، مما يؤدي إلى تفاوت بين شروط التدريب والتنفيذ. وهذا التفاوت يتسبب في انهيار كبير في الأداء؛ فعلى سبيل المثال، نموذج Qwen3-VL 8B ينخفض أداؤه من 56.0% إلى 22.3% في قياس التداخل الزمني (temporal mIoU) عند تقليص عدد الإطارات إلى 16، وهو ما يمثل نقصًا نسبته 60.2%.

تقدم الدراسة الحالية دراسة تجريبية شاملة لاستراتيجيات التدريب التي تهدف إلى سد هذه الفجوة في معالجة الفيديو الزمني المكاني. وتشير النتائج إلى أن استخراج الميزات البصرية هو العنصر الأساسي الذي يعيق الأداء تحت بيانات مدخلات غير متماسكة. عندما تم تعديل ثلاث طبقات من نموذج ViT فقط، وهو ما يمثل 4% من إجمالي المعلمات، تمكن النموذج من تحقيق 68.8% في قياس التداخل الزمني، متجاوزًا نموذج 8B في وضع عدم الانتهاء من التدريب بـ 12.8 نقطة.

وعلى النقيض، فإن تعديل نموذج اللغة يقدم عوائد محدودة أو حتى سلبية. وتظهر استراتيجيات العينة المدروسة بعناية، مثل Hybrid16، تحسينًا إضافيًا في قياس التداخل الزمني بمقدار 26 نقطة مقارنة بالعينات غير المتماسكة عند توفر الحدود الزمنية.

نتيجة لذلك، يتضح أن استراتيجية التدريب تتفوق على حجم النموذج عند معالجة الفيديو بإطارات غير متماسكة، حيث يتفوق نموذج مصغر بقدرة 2B بشكل مستمر على نموذج 8B غير المنتهي بغض النظر عن إمكانية الوصول إلى الإطارات الكثيفة.