في عالم الذكاء الاصطناعي، حيث تزداد شعبية نماذج اللغة متعددة الأنماط (Multimodal Models)، يطرح السؤال: هل تعتمد هذه النماذج بالفعل على الحالات البصرية الوسطية في عمليات التفكير؟ تمثل الدراسة الجديدة بعنوان See2Think إجابة محورية للسؤال السابق.

تعمل النماذج متعددة الأنماط على استخدام الرسومات، التعليقات، والأدوات، بالإضافة إلى الصور الوسيطة خلال عملية الاستدلال. ولكن تظل الحاجة قائمة لفهم مدى اعتماد هذه النماذج على الحالات البصرية ودورها في تحسين النتائج.

لنلق نظرة على See2Think، الذي يمثل إطار تقييم موحّد يتكون من See2ThinkBench وVisual Action-of-Thought (VAoT). تشمل See2ThinkBench 1200 مسألة مفتوحة تعتمد بصريًا، موزعة على 12 فئة مهمة تتراوح بين المعالجة الهيكلية ثنائية الأبعاد (2D) واستنتاجات العالم الحقيقي.

أما VAoT فتسجل الأفكار النصية، والخطوات البصرية، والحالات المعالجة، وأنتجت استدلالات وفق أربعة إعدادات تحكم مختلفة. عند تقييم نماذج متعددة الأنماط الممثلة، تبين أن الاستدلال البصري يتوقف بقوة على النموذج والبيئة المعنية، حيث لا يوجد إعداد واحد يهيمن باستمرار عبر جميع المهام.

كما أن التحليل العملي يقدم أدلة على أن النماذج بشكل عام تقوم باختيار العمليات البصرية الملائمة، في حين أن جودة التصيير تظل العقبة الأوضح. لنتعمق أكثر، وجد الباحثون أن النماذج تظهر اعتمادًا سلوكيًا قويًا على الحالات البصرية، مما يؤثر على دقة النتائج في ظل ملاحظات فاسدة ذات صلة بالمهام، حيث انخفضت الدقة بأكثر من 10 نقاط مئوية في بعض التدخلات المضبوطة.

هل تعتقد أن الاعتماد على الحالات البصرية سيشكل مستقبل الذكاء الاصطناعي؟ دعونا نستكشف هذا الأمر معًا!