في العصر الرقمي، أصبحت القدرة على تحليل المحتوى المتعدد الوسائط على الشبكات الاجتماعية من المهام الأساسية لفهم المشاعر العامة وانتشار المعلومات. ورغم ذلك، فإن تصنيف الميمات على الإنترنت يعد تحدياً حسابياً، نظراً للتفاعل المعقد بين المؤشرات البصرية والنصوص المدمجة، خاصة في اللغات الضعيفة الموارد مثل اللغة البنغالية.

تقدم ورقة بحثية جديدة حلاً مبتكراً في هذا المجال. حيث أعلنت عن إطار دمج انتباه المقاطع متعددة الوسائط (Multimodal Cross-Attention Fusion) لرصد النوايا السياسية في الميمات البنغالية. في البدء، يتم استغلال نموذج الرؤية-اللغة (Vision-Language Model) لاستخراج نصوص عالية الدقة من الصور الميمية المليئة بالضجيج. بعد ذلك، نستخدم خاصيات بصرية ونصية، ونجمعها معاً من خلال آلية انتباه متعددة الرؤوس تكاملية، حيث يتم محاذاة الرموز الدلالية مع المناطق المرئية.

تتمثل إحدى نقاط القوة في هذا النموذج في دمجه لقاموس سياسي مخصص، مما يعزز من معرفته السابقة. ووفقاً للتقييمات التجريبية التي أجريت على مجموعة بيانات PoliMemeDecode1، يظهر أن دمج عنصر الانتباه يعزز الأداء بشكل كبير مقارنة بالأساليب الأحادية وطرق الدمج القياسية، مما يحقق علامة ماكرو-F1 تبلغ حوالي 0.94.

تؤكد التحليلات القابلة للتفسير أن النموذج يتقن فعلاً الربط بين المعاني النصية والأدلة المرئية، مما يسمح للباحثين بفهم أعمق لثقافة الميمات وتأثيرها في التعبير عن الرسائل السياسية في المجتمعات.