في عالم الذكاء الاصطناعي المتسارع، بدأت النماذج اللغوية متعددة الوسائط (Multimodal Large Language Models - MLLMs) تستشعر الحاجة إلى "التفكير بالصورة"، حيث تتوجه نحو استكشاف تفاصيل الصور بدقة وسرعة. ومع ذلك، يتطلب هذا النوع من التدريب تكاليف حسابية ضخمة، مما دفع الباحثين إلى البحث عن حلول خفيفة وغير معتمدة على التدريب.

لكن، كالعديد من الطرق الحالية، تعاني الأساليب غير المعتمدة من مشاكل خطيرة، مثل زيادة التكرار الحسي بسبب تقليم الصور بشكل عشوائي، مما يؤدي إلى زيادة التكاليف وإدخال ضوضاء. بالإضافة إلى ذلك، هناك بُعد بين النية الدلالية والانتباه المكاني، مما يمنع تحديد المناطق التي يركز عليها المستخدم بدقة.

لمواجهة هذه التحديات، تم اقتراح LookWise، وهو إطار عمل جديد يركز على التحليل البصري التكيفي. يتكون LookWise من خط أنابيب من مرحلتين: 1) وحدة تعتمد على الثقة لتحديد متى يجب النظر بتأني، و2) وحدة تحدد الموقع الذي يجب النظر إليه بناءً على السياق الدلالي. تُمكّن هذه التصميمات النماذج اللغوية من الحصول على أدلة بصرية دقيقة بدون الحاجة لتدريب إضافي.

أظهرت التجارب على معايير التحليل البصري الدقيق وعالي الدقة أن LookWise يعزز دقة الأدوات بشكل مستمر مقارنة بأساليب قوية سابقة، ويحقق سرعة استنتاج تصل إلى $4.0 imes$ بالمقارنة مع الطريقة المعتمدة على البحث ZoomEye، مما يدل على تعميم قوي عبر نماذج متعددة.