في عالم الذكاء الاصطناعي، أصبح من الواضح أن نماذج اللغات المتعددة الوسائط (MLLMs) أظهرت أداءً مذهلاً في السيناريوهات البسيطة، لكنها تعاني من عدم موثوقية معرفية كبيرة في البيئات المعقدة تحت ظروف غير مواتية. وبناءً على ذلك، تتوصل دراسة جديدة إلى ضرورة تحسين عملية التفكير في هذه النماذج، حيث تكشف النتائج أن الكثير من الاستدلالات تعتمد على الفهم الضمني دون وجود أدلة بصرية كافية.

تقدم هذه الدراسة معيار AD2-Bench الذي يقدم إطار تشخيص بصري هرمي يساهم في تحليل خطط الاستدلال كجزء من سلسلة أدلة منظّمة (CoE). هذا النوع من التشخيص يبرز مدى اعتماد التفكير المتعدد الوسائط على الحصول الدقيق على الأدلة.

استنادًا إلى هذه النظرية، تصف الدراسة الأخطاء التي يمكن أن تحدث نتيجة لوجود غموض مكاني، حيث تفشل النماذج في تحديد الأجسام المستهدفة من الفوضى الخلفية، مما يؤدي إلى أخطاء في تحديد المواقع. بالإضافة إلى ذلك، تبرز الدراسة عدم اليقين الدلالي، الذي ينتج عن خصائص بصرية متدهورة، مما يؤدي إلى تفسيرات دلالية غير صحيحة.

لتجاوز هذه ثغرات الأدلة، تقترح الدراسة مفهوم التفكير البصري القائم على الأدلة (EGVOR)، والذي يقوم على توليد كتل أدلة صريحة - وهي تراكيب مكانية دلالية تعزز التوافق بين التحديد والفهم الدلالي.

الشئ المثير هو أن النموذج يتم تدريبه من خلال منهج هرمي يتدرج من الإشراف الانعكاسي إلى التعلم التعزيزي، حيث يتم مكافأة تقليل تباين الاستدلال.

تظهر التجارب الواسعة أن EGVOR يحسن بشكل كبير من استقرار التفكير تحت ظروف غير مواتية، مما يوفر إطارًا أكثر موثوقية للحوسبة المتعددة الوسائط. إن هذه النتائج لا تعزز فقط من موثوقية نماذج الذكاء الاصطناعي، بل تدعو أيضًا لتأمل أعمق حول كيفية تطور هذا المجال في المستقبل.