فتح آفاق جديدة في تحديد المصادر الصوتية باستخدام نماذج متقدمة للوسائط المتعددة

في عالم الذكاء الاصطناعي، تعتبر نماذج الاسترجاع الصوتي البصري (Audio-Visual Retrieval Models) من أبرز التطورات التكنولوجية. ومع تزايد ضرورة تحديد المصادر الصوتية بدقة، تصاعدت التحديات المتعلقة بإنتاج بيانات مكثفة للتعليقات السمعية والمرئية. لذلك، قدمت دراسة جديدة حلاً مبتكرًا، حيث تم استخدام أسلوب الإشراف الضعيف (Weak Supervision) لتحسين دقة تحديد المواقع ضمن النماذج السمعية البصرية.

تُظهر الأبحاث أنه رغم بعض القيود في الطبقات العليا من النماذج، إلا أن الرموز البصرية المتوسطة تحتفظ بمعلومات مكانية غنية. وللتغلب على هذه القيود، تم تقديم إطار عمل يُعرف باسم LAIP (Localization via Audio-Informed Pooling) الذي يعتمد على تقنية (AiSP) أو ما يُعرف بـ"التجميع المكاني المدعوم بالصوت". يسمح هذا الإطار باستخدام بيانات الصوت المتوافقة مع الإطارات لاسترجاع التفاصيل المكانية الدقيقة التي كانت مُهملة سابقاً.

تظهر النتائج أن استخدام هذا الأسلوب أدى إلى تحقيق أداء يفوق النماذج السابقة في اختبارات AVSBench وAVATAR، مع معدل يحسن النتائج السابقة بمعدل يقارب الضعف.

هذه التطورات تشير إلى أن عملية تحديد المواقع الدقيقة لا تحتاج إلى التعلم من الصفر، بل يمكن فك شفرتها من التمثيلات الحالية، مما يقدم طريقاً موحداً لمهام الاسترجاع والتحديد.