نحو فهم أعمق: كيفية تحويل العواطف في الكلام إلى مفاهيم قابلة للتعديل باستخدام نماذج اختناق المفاهيم

في عالم الذكاء الاصطناعي، يعد التعرف على مشاعر الكلام (Speech Emotion Recognition - SER) من المهام المعقدة التي تسعى لتحديد العواطف المعبَّرة من خلال الصوت. بينما كانت النماذج الأولى تعتمد فقط على الميزات الصوتية، فقد اتجهت الأساليب الحديثة نحو دمج مختلف الوسائط، أبرزها الصوت والنص. لكن، على الرغم من هذه التطورات، لا يزال أداء الأنظمة ضعيفاً في العديد من مجموعات البيانات.

مع تزايد الاهتمام بنماذج اللغات الضخمة (Large Language Models - LLMs)، أصبحت هذه النماذج تبرز كأداة قوية في مجال التعرف على مشاعر الكلام، حيث يمكنها معالجة مدخلات متنوعة بالتزامن مع تعليمات واضحة. ومع ذلك، تثير المدخلات الصوتية المباشرة تساؤلات حول قابلية الشرح (Explainability)، وهو ما تم تناوله في دراسات سابقة في تصنيف الصور باستخدام نماذج اختناق المفاهيم.

في هذا العمل، تم تكييف نماذج اختناق المفاهيم لتتوافق مع التعرف على مشاعر الكلام بهدف فحص كيفية اعتماد التنبؤات الفردية على النصوص والتوصيفات الصوتية وخصائص المتحدثين. اختُبرت ثلاثة نماذج لغوية كبيرة على مجموعات بيانات CREMA-D وIEMOCAP وMELD باستخدام مفاهيم مستخرجة بواسطة أدوات منفصلة.

أظهرت النتائج أن النماذج كانت متحيزة بشدة نحو النصوص في الإعدادات المعدومة، مما أدى إلى انخفاض نتائج Macro-F1 من 27.8 إلى 5.8 في مجموعة بيانات CREMA-D. ومع ذلك، أدى تحسين الفهم إلى إزالة هذا التحيز، حيث ارتفعت درجات Macro-F1 من 41.8 إلى 45.1 عند توظيف النصوص.

علاوة على ذلك، فقد أظهرت الدراسات أن إزالة معدل الكلام تمكنت من تحويل 48% من التنبؤات المحايدة إلى اشمئزاز على CREMA-D. كما أن إزالة مستوى الشدة على MELD غيرت التنبؤات مع بقاء تأثير قليل على Macro-F1.

توضح هذه النتائج أن الأداء الجماعي لا يعكس بمفرده تأثيرات إزالة المفاهيم على التنبؤات الفردية، مما يشير إلى الحاجة إلى أبحاث أعمق في هذا المجال. هل تعتقد أن مثل هذه النماذج قادرة على تحسين فهمنا للعواطف؟ شاركونا آرائكم في التعليقات.