في خطوة هامة نحو تحسين فهم الفيديو، تم تقديم نموذج VideoSEMA، الذي يعتمد على آلية الانتباه المنفصل في الفضاء والزمن، مما يجعله مثالياً لتصنيف الفيديوهات. يتضمن هذا النموذج كتلة انتباه فعالة تشبه Mamba، حيث يتم تطبيق انتباه محلي مع وجود متوسط عالمي للبيانات.
أكد الباحثون أن النموذج الجديد يُظهر تميّزاً كبيراً عند مقارنته بالنماذج التقليدية مثل محولات الرؤية (Vision Transformers) ونماذج Mamba، حيث يُظهر VideoSEMA أداءً متفوقاً على مجموعات بيانات مرجعية مثل K400 وSSv2.
ليس ذلك فحسب، بل أظهرت التجارب أن VideoSEMA يحافظ على دقته بشكل أفضل عند زيادة أحجام الصور، مما يجعله خياراً مفضلاً في معالجة الفيديوهات عالية الدقة. يتطلع الباحثون إلى تطبيق هذا النموذج على فيديوهات أطول باستخدام آلية انتباه زمنية مُخفّضة أو نادرة.
اكتشف VideoSEMA: نموذج ثوري لفهم الفيديو باستخدام انتباه مميز!
تقدم دراسة جديدة نموذج VideoSEMA لفهم الفيديو، والذي يقدم كفاءة وسرعة في معالجة البيانات. يتفوق هذا النموذج على عدة نماذج معروفة ويعد بآفاق واعدة لفيديوهات أطول.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
