في عالم الذكاء الاصطناعي، يمثل التعرف على حالة الحيرة وعدم اليقين تحديًا يواجه الباحثين والمطورين. حيث أن هذه الحالات يمكن أن تُعبّر عنها من خلال أنماط لغوية، صوتية، ووجهية غير متسقة، مما يزيد من تعقيد مهمة التعرف. لكن فريق RAS طوّر حلًا مبتكرًا في إطار المسابقة الحادية عشر لتحليل المشاعر والسلوكيات (ABAW).

يقدم هذا الفريق نهجًا متعدد الوسائط يركز على النصوص (text-centered multimodal) للتعرف على الحيرة وعدم اليقين ضمن مقاطع الفيديو. حيث يجمع النموذج الذي طوروه بين مميزات لغوية (linguistic)، وصوتية (acoustic)، ووجهية (facial)، ومشاهد (scene) باستخدام نموذج دمج موجه للنصوص. يُعرف هذا النموذج باسم تقنية دمج الفائض النصي (Text Residual Fusion) والتي تعتبر النص هو وسيلة الربط الأساسية، وتمثل الأساس الذي تبنى عليه تعديلات ذات أهمية بناءً على الوسائط الأخرى.

أثبتت التجارب التي أجريت على مجموعة بيانات Behavioural Ambivalence/Hesitancy (BAH) أن النص هو أقوى نمط فردي (unimodal modality). فقد حقق نموذج دمج الفائض النصي معدلاً متوسطًا من 75.14% في النتائج النهائية عبر مجموعات الاختبار. وفي اختبار خاص آخر، تمكن من تحقيق نتيجة 78.24%، متفوقًا على النموذج النصي التقليدي بنسبة 4.03%.

تظهر هذه النتائج أن المعلومات متعددة الوسائط التكميلية يمكن أن تعزز الأداء في التعرف على الحيرة وعدم اليقين دون الحاجة إلى إنشاء نماذج كبيرة ومعقدة، مما يفتح آفاق جديدة للابتكارات في الذكاء الاصطناعي.

ما رأيكم في هذا الابتكار المذهل؟ هل تعتقدون أن هذا النهج يمكن أن يؤثر على مجالات أخرى؟ شاركونا أفكاركم في التعليقات.