في السنوات الأخيرة، جذبت موضوعات تحليل العواطف متعدد الوسائط غير الكامل (Incomplete Multimodal Sentiment Analysis) اهتمامًا كبيرًا من الباحثين والممارسين في مجال الذكاء الاصطناعي. تكمن المشكلة الرئيسية في أن النماذج الحالية تفترض غالبًا أن البيانات المفقودة تتوزع بشكل عشوائي أو تم تصميمها لتتناسب مع أنماط مفقودة معينة، مما يتجاهل عدم التناسق في تركيبات الوسائط بين مراحل التدريب والاختبار.

والواقع هو أن مرحلة الاختبار غالبًا ما تواجه تركيبات وسائط لم تكن موجودة خلال فترة التدريب، مما يؤدي إلى ضعف قدرة النموذج على التعميم وأداء غير مستقر. لمواجهة هذه المشكلة، قدمت ورقة بحثية جديدة مفهوم تحليل العواطف متعدد الوسائط غير الكامل مع التركيب غير المرئي (IMSAUMC).

نموذج جديد يسمى تعلم التعزيز المختلط (Contrastive Mixed Prompt Learning) أو CMPL، تم تقديمه كحل فعال لهذه التحديات. يشتمل هذا النموذج على آلية تعلم ميزات تعاونية موجهة بالعلامات بهدف تعلم تمثيلات قوية وقابلة للتفريق عبر الوسائط المختلفة. بالإضافة إلى ذلك، تم تصميم مطالبات تركيبات الوسائط مع مشغل ناعم لتسهيل تعلم أفضل لمجموعة متنوعة من تركيبات الوسائط.

علاوة على ذلك، تتضمن الورقة ثلاثة استراتيجيات مختلفة لتعلم المطالبات التعاونية، مما يمكّن التعلم الفعال للمطالبات المرتبطة بالتركيبات غير المرئية. تُظهر التجارب الشاملة على ثلاثة مجموعات بيانات شهيرة أن CMPL يحقق تحسينًا يزيد عن 5% في دقة الأداء مقارنة بأحدث الأساليب.

تتناول هذه النتائج تحديات حقيقية يشهدها الباحثون في مجال التحليل العاطفي متعدد الوسائط، وتُعد خطوة هامة نحو تعزيز قدرات النماذج في بيئات اختبار متنوعة. ما هي الآثار المترتبة على هذه النتائج في سياق التطبيقات العملية؟ شاركونا آرائكم في التعليقات!