هل التحفيز البصري هو كل ما تحتاجه؟ دراسة تفصيلية حول نماذج الرؤية واللغة!

شهدت نماذج الرؤية واللغة (VLMs) تقدمًا سريعًا في مجالات التفكير متعدد الوسائط، ورغم ذلك، كشفت الأبحاث الأخيرة أن الفشل الذي تتعرض له هذه النماذج غالبًا ما يكون مرتبطًا بتفاعل بين قاعدة التصور البصري والتفكير اللاحق. لكن ما هو تأثير الشكل البصري لمهمة معينة على أداء النماذج وأنماط الفشل فيها عندما تظل مشكلة التفكير الأساسية ثابتة؟

في دراستنا التي تركز على SPaRC، وهو معيار للتخطيط المكاني البصري القائم على الشبكة، قمنا بتقديم هياكل خفيفة الوزن على جانب الإدخال تعزز المحور البصري مع جعل الهيكل المكاني أكثر سهولة للوصول. أظهرت النتائج عبر عدة نماذج VLM أن هذه الهياكل تحسن دقة المهام بنسبة تصل إلى 34.0 نقطة مئوية مقارنةً بالإعداد البصري الأصلي، وتكمل تدريب GRPO بشكل إضافي، مُعزِزة الدقة بمقدار 4.6 نقطة مئوية إضافية مقابل زيادات قريبة من الصفر على الإدخال البصري الأصلي.

تظهر التحليلات المتعلقة بحل المهام من النهاية إلى النهاية واكتشاف الكائنات أن هذه المكاسب مرتبطة ارتباطًا وثيقًا بتقليل الأخطاء المتعلقة بالتجذر البصري، في حين يبقى التفكير القائم على القواعد تحديًا نسبيًا. وجدنا أن الشكل البصري هو عامل محوري يحدد ما إذا كانت معايير VLM تقيس الإدراك المتجذر، التفكير اللاحق، أم مزيج من الاثنين. هذا الاكتشاف يمكن أن يحدث ثورة في الطريقة التي نفهم بها قدرة النماذج على معالجة المعلومات البصرية واللغوية.