في عالم يعتمد بشكل متزايد على تحليل المشاعر والتعرف على العواطف، يبرز نموذج MVFA (ملحق دمج نماذج متعددة الرؤى المعزز بنصوص) كحل مبتكر للتحديات الحالية في هذا المجال. يعتمد النموذج على تكامل التفاعلات عبر النصوص والصوت والصورة، مما تطلب أساليب جديدة وفعالة لنمذجة هذه التفاعلات المختلفة.

تواجه النماذج اللغوية الكبيرة (Large Language Models) صعوبة في التكيف مع تقنيات الحوسبة العاطفية المتعددة الوسائط. حيث أن عملية ضبط النماذج كاملة تعتبر مكلفة من الناحية الحسابية، بينما تفشل معظم الملحقات الخفيفة الحالية في الحفاظ على الإشارات النصية الغنية خلال دمج الوسائط المختلفة.

للتغلب على هذه التحديات، تم تطوير MVFA الذي يعد إطار عمل يعتمد على الكفاءة في استخدام المعلمات. يقوم هذا النموذج أولاً بإنشاء رؤى نصية مكملة عبر ممارسات مختلفة مثل التجميع الأقصى، التجميع المتوسط، وتجميع الانتباه. ثم تستخدم هذه الرؤى لتوجيه التفاعلات بين الوسائط المختلفة، بما في ذلك الخصائص الصوتية والبصرية.

تجمع التمثيلات المتعددة الوسائط في النهاية ضمن مجموعة مضغوطة من الرموز القابلة للتعلم من خلال وحدة دمج Q-Former المحسنة. استنادًا إلى نموذج ChatGLM3-6B-base، تم اختبار MVFA أيضًا على نماذج أخرى مثل LLaMA2-7B وQwen3-8B؛ مما أظهر قدرته على التنقل عبر عدة بنى ذكية.

خضعت MVFA للاختبار على ثلاث مجموعات بيانات صعبة: CH-SIMS V2.0، MELD، وCHERMA. وأظهرت النتائج التجريبية أن MVFA تحقق أداءً رائدًا في مقاييس رئيسية، مع تحديث فقط جزء صغير من المعلمات. فمثلاً، حصلت على 84.62% في دقة (Acc2) و84.59% في F1 على مجموعة بيانات CH-SIMS V2.0، و67.36% في دقة و66.03% في WF1 على MELD، و74.66% في دقة على CHERMA.

توفر هذه النتائج دليلاً قوياً على أن الدمج المدعوم بالنصوص المتعددة الرؤى يمثل نموذجًا فعالًا وقابلًا للتوسيع للتكيف مع النماذج اللغوية متعددة الوسائط في مجال الحوسبة العاطفية. للمزيد من المعلومات، يمكنك زيارة GitHub. ما رأيكم في مستقبل تحليل المشاعر باستخدام الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات.