في عالم التواصل البشري، تعكس العواطف جوهر التفاعلات. ولكن كيف يُمكننا قياس وتتبع هذه العواطف بشكل فعّال؟ الحل تكمن في نماذج ماركوف الخفي متعددة الوسائط (Multimodal Hidden Markov Models) التي توفر نهجًا مبتكرًا لتتبع المشاعر في المحادثات.

تُركز العديد من الأساليب التقليدية على التعرف على المشاعر في مستوى التصريحات الفردية، مما قد يُفقد الكثير من التعقيدات التي تحملها ديناميكيات المحادثة الحقيقية. ومن هذا المنطلق، يقترح الباحثون إطارًا خفيف الوزن يُجسد المشاعر في المحادثات كنتائج عاطفية خفية تتطور عبر الزمن.

يعتمد هذا الإطار على تمثيلات العواطف المتعددة الوسائط (valence-arousal) المشتقة من مدخلات متزامنة من الفيديو والصوت والنص. وقد تم اختبار جودة التنبؤ بهذه الأنظمة باستخدام مقاييس متعددة، حيث أثبتت النتائج أن نموذج HMM الخفي يُنتج تسلسلات أكثر وضوحًا بالمقارنة مع نماذج Gaussian التقليدية، وبأسعار كلفة أقل بكثير مقارنة بأساليب تتبع حالات الحوار المعتمدة على نماذج اللغات الضخمة (LLMs).

علاوة على ذلك، أظهرت التجارب المستندة إلى أسئلة وأجوبة في مجموعات البيانات السريرية أن مراحل العواطف المعنوية يمكن استعادتها بشكل موثوق من مسارات valence-arousal المتعددة الوسائط، مما يُعزز من جودة ردود نموذج اللغات الضخمة في الظروف العاطفية غير المستقرة.

هذا الإطار يُشير إلى إمكانية تحليل ديناميات المشاعر في المحادثات بشكل أكثر فهمًا وفاعلية، مما يُسهل الاستخدام في تطبيقات واسعة النطاق، خاصة في المجالات السريرية.