في عالم الذكاء الاصطناعي، تعتبر نماذج اللغة متعددة الأنماط (Multimodal Large Language Models) من الأدوات الرائعة لتحقيق أداء بارز في مجالات مثل فهم المشاهد والأسئلة المرئية (VQA). بيد أن عملية استنتاج المشاعر ظلت عرضة لسلوكيات سريعة يمكن أن تؤدي إلى نتائج غير دقيقة، حيث قد تتجاهل النماذج التلميحات البشرية الدقيقة كالوجهات الدقيقة ولغة الجسد، مما يعرقل إمكانية التحقق الخارجي.

يأتي هنا دور AffectOmni، إطار عمل مبتكر يتم تدريبه عبر أساليب التعلم المعزز (Reinforcement Learning) لضمان استنتاجات عاطفية قابلة للتحقق. يتميز AffectOmni بإدخال مكافآت تركز على الإنسان وتراعي ترتيب الأحداث الزمنية، مما يعزز اختيار الدلائل البشرية ويساعد على التفكير الهيكلي المرتبط بالوقت.

علاوة على ذلك، تتبنى الآلية نظام مقارنة داخل المجموعة لتحسين استقرار مؤشرات المكافأة وجعلها أكثر تميزًا. بشكل ملموس، تم تطبيق أداة تُعرف بـ "المُلخص المفكر" (Thinking Summarizer) التي محورها تحويل المبررات الحرة إلى تعليمات دلائل قابلة للتنفيذ، والتي تُربط بعد ذلك بمناطق الأدلة على مستوى البكسل عبر نماذج مثل SAM3، مما يقدم واجهة قابلة للتدقيق الخارجي بعيدًا عن حلقة التدريب.

تشير التجارب التي أجريت على مجموعات بيانات مثل IntentBench وDaily Omni وWorldSense إلى تحسينات ملحوظة في الأداء مقارنة بالنماذج مفتوحة المصدر ذات الحجم 7 مليار، بما في ذلك زيادة بنسبة 4.66% في التعرف على المشاعر و+14.29% في المهام الحساسة زمنياً.

وفي النهاية، يمكنكم الاطلاع على الكود البرمجي لأداة AffectOmni عبر GitHub. هل تعتقدون أن هذه الابتكارات ستغير مستقبل الذكاء الاصطناعي في فهم المشاعر؟ شاركونا آرائكم في التعليقات!