تحديات التعرف على المشاعر في المحادثات: هل يمكننا تحسين دقة النماذج؟

في عالم الذكاء الاصطناعي يتطور تخصص التعرف على المشاعر في المحادثات (Emotion Recognition in Conversations - ERC) بشكل سريع، ويهدف إلى تحديد مشاعر المتحدثين خلال الحوارات متعددة الأدوار. تعتبر دقة هذا النوع من التعرف محورية لدعم مجموعة واسعة من التطبيقات، مثل وكلاء المحادثة العاطفية، والدعم النفسي، والتقنيات التعليمية.

ومع ذلك، هناك افتراض مركزي في هذا المجال نادراً ما يتم استجوابه: وهو أنه يمكن تعيين تسمية عاطفية واحدة واضحة لكل مقطع حواري. في دراسة جديدة، تم استخدام نماذج لغوية ضخمة (Large Language Models - LLMs) في سيناريو عدم وجود بيانات مسبقة بهدف تحدي هذا الافتراض، مع إدماج الأدوار السابقة في المحادثة كسياق للتقييم.

أظهرت النتائج أن المعايير الإجمالية تخفي الفشل المنهجي للنماذج، حيث تتركز الأخطاء في المقاطع التي تحتوي على نفي، أو تعبيرات تعجب، أو تشكك. وهذه الأنماط كانت متسقة عبر جميع النماذج المدروسة، مما يشير إلى قيود في المعايير الاختبارية بدلاً من نقاط الضعف المحددة في النماذج نفسها.

إلى جانب ذلك، دعم دراسة إعادة التقييد التي شملت أربعة مقيّمين بشريين هذه النتائج: حيث لوحظ توافق قوي في 35% فقط من الحالات، وكانت المقاطع المحايدة تسود في حالات التوافق العالي، بينما كانت العديد من الفئات العاطفية تعاني من مستويات توافق منخفضة.

تشير هذه الاكتشافات إلى أن العديد من الأخطاء الواضحة التي ارتكبتها النماذج تعكس الغموض الجوهري في التقييم بدلاً من فهم المشاعر الضعيف. وبالتالي، فإن التقييم القياسي بناءً على تسمية واحدة غير كافٍ. وللتصدي لهذه القيود، تم تقديم إطار عمل جديد يُعرف بـ LLM-as-Judge، الذي يقيم كل عاطفة بشكل مستقل وفقًا لمدى احتمالها في السياق الحواري بدلاً من فرض قرار بتسمية واحدة.