تعتبر النماذج الصوتية والمرئية (Audio-Video Diffusion Models) من الأدوات الحديثة التي تعتمد على تقنية الانتباه المتقاطع (Cross-Modal Attention) لتنظيم المحتوى النصي والصوتي والمرئي في عملية واحدة. لكن، يبدو أن هذا الآلية قد تسهم أيضًا في تسريب دلالات دقيقة ومنهجية.

في دراستنا الأخيرة، قمنا باستكشاف "مثلث الانتباه" المتكون من ثلاثة أبعاد ترابطية تربط بين النص والصوت والفيديو، حيث ألقينا الضوء على كيفية توجيه المعلومات الدلالية عبر هذه النماذج أثناء عملية الإنتاج.

وكشفت نتائج التحليل عن طبيعة تفاعلات التأثير المتبادل بين الصوت والفيديو: فعندما يتفاعل المحتوى الصوتي مع المحتوى المرئي، فإن كلاهما يمكن أن يؤثر على مخرجات الآخر. نحن نعزو هذه التأثيرات إلى الانحيازات المرمزة في معلمات النموذج، والتي قد تؤدي إلى نتائج غير صحيحة عندما يتعارض المدخل مع أولويات التعلم.

تتناول هذه الدراسة كيف أن الدلالات يمكن أن تتأثر برموز (Artifacts) ليست فقط نتيجة انتشار الانتباه إلى أهداف غير مقصودة، ولكن أيضًا من تفاعلات منظمة قائمة على انحيازات معينة. وبناءً على هذه الرؤية، قمنا باستخرج إشارات ناتجة عن الانتباه (Attention-derived signals) تكشف كيف تتوزع الدلالات عبر الأنماط المختلفة وتستخدم كأداة تشخيص لتحليل الآثار الناتجة عن التسريب.

تجارب موسعة دعم تحليلنا وأظهرت تحسينات في الأساسات الدلالية مع الحفاظ على جودة الإنتاج، مما يعد خطوة هامة نحو فهم أفضل لتنسيق المحتوى المتعدد الوسائط.