تحسين سياسة الإدراك الشامل لتعزيز التفكير العاطفي متعدد الأنماط

في ظل الثورة التي يشهدها عالم الذكاء الاصطناعي، نجد أن النماذج المعتمدة على المشاعر لا تزال تواجه تحديات كبيرة. فعلى الرغم من جهود تطوير نماذج الذكاء الاصطناعي مثل النماذج متعددة الأنماط (Omni-MLLMs)، إلا أنها تعاني من افتقارها للإدراك الشامل الفعّال. هذه النماذج تعاني من مشكلتين رئيسيتين: الأولى هي أنها لا تستفيد بالكامل من الإشارات متعددة الأنماط (multimodal cues) في مساراتها التحليلية، والثانية عدم دقة سلوكها في بعض الأحيان، حيث تصدر بيانات غير دقيقة مستندة إلى أنماط أخرى.

استجابةً لهذه التحديات، قدم الباحثون نموذج OPPO (تحسين سياسة الإدراك الشامل)، وهو إطار عمل يُعتمد على التعلم المعزز (Reinforcement Learning) بشكل صريح لتعزيز الإدراك متعدد الأنماط. يعتمد هذا النموذج على مكافأة الإدراك الشامل، التي تقوم بتفكيك reasoning الحقيقي إلى إشارات بصرية، صوتية وعاطفية دقيقة. كما يقوم بمكافأة المسارات التي تتمكن من استعادة هذه الإشارات بشكل سليم.

علاوة على ذلك، يستخدم نموذج OPPO أيضاً فقدان الإدراك الشامل، الذي يقارن بين السياسات تحت المدخلات الكاملة والمدخلات المقيدة بالنمط الواحد، مما يساهم في تقليل ظاهرة الهلاوس بين الأنماط المختلفة.

لتعزيز فهم كيفية عمل هذا النموذج، تم تقديم MEP-Bench، وهو معيار تشخيصي يقيس مستوى الاستفادة وموثوقية نتائج هذه النماذج. تشير النتائج التجريبية إلى أن OPPO يتفوق على النماذج الأخرى، مما يبرز أهمية توافر إدراك شامل وموثوق وضروري لتحسين التفكير العاطفي متعدد الأنماط.