مع التقدم المتسارع في نماذج الرؤية واللغة (Vision-Language Models - VLMs)، تظهر الحاجة إلى حل يبسط فهم تيارات الفيديو الحية لحظياً دون زيادة في استهلاك الذاكرة أو زمن الاستجابة. فيما تكافح النماذج الحالية مع تكاليف حسابية كبيرة وأداء ضعيف على الفيديوهات الطويلة، يبرز نموذج StreamingVLM كحل مبتكر.

نموذج StreamingVLM مصمم خصيصًا لتقديم فهم مستقر وفوري للمحتوى المرئي. يعتمد هذا النموذج على إطار عمل موحد يربط بين التدريب والاستدلال الفوري، مما يمكّن المحلل من الحفاظ على كفاءة الأداء أثناء ضخ المعلومات بسرعة عالية.

واحدة من الابتكارات الرئيسية في StreamingVLM هي طريقة إدارة الذاكرة من خلال تخزين معلومات مهمة بشكل فعال، مما يضمن تقليل التكلفة الحسابية. يتيح هذا للنموذج التعامل مع مقاطع الفيديو الطويلة بشكل أفضل دون فقدان تماسك المعلومات أو التعرض لتأخيرات غير مرغوب فيها بسبب إعادة حساب المعلومات.

أُقيمت اختبارات النموذج باستخدام معيار جديد يسمى Inf-Streams-Eval، حيث تم على هذه المنصة قياس أداء StreamingVLM على فيديوهات تتجاوز مدتها الساعتين. وقد حقق النموذج معدل انتصار ناهز 66.18% مقارنةً بـ GPT-4O mini، مع أداء مستقر يصل إلى 8 إطارات في الثانية على معالج NVIDIA H100.

لم يقتصر تأثير نموذج StreamingVLM على تحسين أداء تحليل مقاطع الفيديو فقط، بل ساهم أيضًا في تعزيز قدرات الاستجابة في استفسارات الفيديو (Visual Question Answering - VQA)، مما أدى إلى تحسينات ملحوظة في معايير أخرى مثل LongVideoBench وOVOBench Realtime.

للمزيد حول كيفية عمل StreamingVLM، يمكنك زيارة رابط الكود. هل سيشكل نموذج StreamingVLM نقلة نوعية في عالم الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات!