تعتبر مهمة الكشف عن العنف من مقاطع الفيديو تحديًا كبيرًا، إذ قد تكون التفاعلات العنيفة بعيدة أو محجوبة أو مرئية جزئيًا. في هذه السياق، يأتي دور الصوت كعامل إضافي يوفر أدلة تدعم التعرف على هذه الأحداث. ولكن، يواجه النظام مشكلة رئيسية تتعلق بمدى اعتماده على الصوت وفقًا للمشهد المرئي.

هنا، نرحب بالإعلان عن AViS-Mamba، المعمارية المبتكرة المبنية على مبدأ مارمبا (Mamba)، حيث تسيطر المعلومات البصرية على تفاعلات المعلومات الصوتية. يتمثل الابتكار في كيفية استخدام المعلومات المرئية لتوجيه سلوك المكونات الصوتية: عند كل طبقة من مشفر الصوت، يتم إنتاج تمثيل بصري مضغوط يشكل متجه تعديل، يعمل على تنظيم العمليات الزمنية الداخلية للمشفّر، بالتوازي مع بوابة توجيه تنظم قوة هذا التدخل البصري.

بدلاً من دمج أو إعادة وزن الميزات بعد استخراجها، تتحكم السياقات المرئية بشكل مباشر في الديناميات الزمنية لمشفّر الصوت. كما نقدم هدفًا تقاربيًا جديدًا يسمى Adaptive AV-InfoNCE، الذي يتعلم كيفية تحقيق توازن بين اتجاهات المحاذاة من الصوت إلى الفيديو والعكس، مما يحسن دقة الكشف.

عند اختبار AViS-Mamba على مجموعة بيانات NTU-CCTV وDVD، حققت النتائج الرائدة، حيث سجلت دقة تصل إلى 88.59% و75.74%. تثبت النتائج أن التكيف البصري ليس فقط أفضل من التوجيه الثابت، بل يعزز الأداء حتى في ظروف الصوت المتدهورة أو الغائبة. تشير التحليلات الطبقية إلى أن النموذج يعدل مجرى الصوت بشكل انتقائي عبر عمق الشبكة، بدلاً من تطبيق سياسة توجيه عالمية واحدة.

إذن، هل سيغير هذا الابتكار قواعد اللعبة في مجال الأمن والكشف عن العنف؟ ما رأيكم في AViS-Mamba وأثره على تقنيات التعرف على الأحداث؟ شاركونا تعليقاتكم!