في عالَم الذكاء الاصطناعي، تتزايد الحاجة إلى فهم العواطف الإنسانية لتحقيق تفاعل أفضل بين البشر والآلات. وقد أصبح التعرف على العواطف المتعدد الوسائط (Multimodal Emotion Recognition) محور اهتمام متزايد في مجالات مثل التعلم عن بُعد والرعاية الصحية.

تستعرض دراسة جديدة إطار عمل مبتكر يجمع بين استخراج الميزات الصوتية والمرئية، بالإضافة إلى استراتيجية دمج تعتمد على الانتباه (Attention-Based Fusion). يشمل إطار العمل الجديد استخراج ثلاثة أنواع رئيسية من الميزات الصوتية:

1. **التمثيلات السيمانتية** من نموذج Wav2Vec2.
2. **ميزات MFCC** (Mel-Frequency Cepstral Coefficients).
3. **وصفيات صوتية إحصائية** مثل وتيرة الصوت والطاقة والإيقاع.

تتفاعل هذه الميزات بشكل متكامل عبر نموذج BiLSTM لالتقاط الاعتمادية الزمنية. أما بالنسبة للميزات البصرية، فقد تم استخدام معمارية ResNet50-BiLSTM التي تجمع بين التعلم العميق والنمذجة التتابعية لاستخراج ميزات زمانية ومكانية تعكس تعبيرات الوجه.

لزيادة الترابط بين الوسائط المختلفة، تم إدخال آلية دمج تعتمد على الانتباه المتعدد الرؤوس، مما يُتيح للنموذج وزن المساهمات عبر الوسائط بشكل ديناميكي.

أظهرت التجارب التي أجريت على مجموعتي بيانات MELD و IEMOCAP أن النموذج الجديد يتفوق بشكل ملحوظ على النماذج التقليدية في كل من الدقة والقوة. كما أظهرت الدراسات التحليلية أن استراتيجية دمج الانتباه تعزز من الأداء في سياقات البيانات غير المتوازنة.

باختصار، تشير النتائج إلى أن الإطار المقترح يمكنه التقاط مجموعة متنوعة من الإشارات العاطفية من الصوت والتعبيرات البصرية، مما يجعله حلاً عمليًا وقابلًا للتطبيق في مهام التعرف على العواطف في العالم الحقيقي.