في عالم الذكاء الاصطناعي المتطور، يتحدى البحث الجديد الفهم التقليدي لكيفية تعامل وكلاء واجهات المستخدم (GUI Agents) مع المعلومات. يتمتع هؤلاء الوكلاء بقدرة على قراءة واجهات التطبيقات عبر قناتين رئيسيتين: الصور المرسومة من لقطة الشاشة (Screenshot) والهيكل المترابط مثل شجرة Document Object Model (DOM) أو شجرة الوصول. يتحتم على الوكيل تشكيل رأي حول حالة الواجهة الحالية قبل القيام بالإجراء، لكن الدرجات الحالية لا تأخذ بعين الاعتبار ما إذا كانت تلك الرؤية مستمدة من الصور أم لا.

تطرح الدراسة مفهوم "الاعتماد على الحالة البصرية"، والذي يشير إلى الاعتماد على الصور أو هيكلة البيانات للقرار. باستخدام مجموعات بيانات واسعة تتضمن أكثر من 310 تجربة حقيقية عبر الويب، الهاتف المحمول، والأجهزة المكتبية، تم تقييم الوكلاء وفقاً لمؤشر بيني يعتمد على الاختيار القسري، مما يعني عدم استخدام أي عناصر تم توليدها بواسطة النموذج.

من خلال قياس "فجوة الإدراك والمعالجة"، تم التوصل إلى أن الوكلاء يعمدون إلى التفضيل الهيكلي عند وجود تعارض، رغم أن دقة الصور تظل مرتفعة. بتجميع بيانات من خمسة نماذج من ثلاث شركات، يظهر البحث أن الاعتقادات النصية تتعامل مع الهيكل بينما تبقى دقة الصور قريبة من الحد الأقصى. وهذا الأمر يسلط الضوء على المخاطر المحتملة للاعتماد على الواجهة البصرية، حيث يمكن أن تؤدي الأخطاء المرئية إلى اتخاذ قرارات غير صحيحة.

تشير النتائج إلى أن الاعتماد على الحالة البصرية يقدم تشخيصاً قابلاً للقياس، مما يعزز الفهم لكيفية اتخاذ الوكلاء للقرارات ويكشف عن الأخطاء المحتملة التي تؤثر على الأفعال.