في دراسة مثيرة نشرت على arXiv، تم التحقق من مدى قدرة نماذج الرؤية واللغة (Vision-Language Models) على استنتاج أنماط المباني المختلفة، بما في ذلك البناء الحالي وعدد الطوابق، من صور Google Street View. حيث تم مقارنة التوقعات الناتجة من هذه النماذج مع تحليلات الخبراء البشريين مثل المهندسين المدنيين والمعماريين، وذلك لبناء قاعدة بيانات موثوقة تحتوي على معلومات حقيقية.

تضمنت الدراسة تقييم عدد من أفضل نماذج VLMs المتاحة، بما في ذلك GPT-4o، وClaude 3.5 Sonnet، وGemini 2.0 Flash. وقد أظهرت النتائج أن استخدام استراتيجيات تحجيم وتقنيات تحفيز مختلفة، مثل 'Chain-of-Thought prompts'، يؤدي إلى تحسين أداء النماذج بشكل عام.

علاوة على ذلك، تم تحليل الآليات وراء توقعات VLMs بأنماط المباني من خلال دراسة احتمالية ظهور الكلمات الرئيسية في تفسيرات الذكاء الاصطناعي. وهذا مكن الباحثين من تحليل الأنماط في هذه التفسيرات وتحديد الموضوعات الرئيسية التي تعكس اتفاقات واختلافات بين العلامات التي يقدمها الذكاء الاصطناعي والخبراء.

تشير النتائج إلى أن الذكاء الاصطناعي يميل إلى التركيز على المؤشرات البصرية، بينما يعطي الخبراء البشر الأولوية لمعلومات سياقية أوسع ومعرفة في المجالات، بالإضافة إلى المؤشرات البصرية. وبالتالي، يمكن لنموذج VLM تقريب أدائهم من قدرة الخبراء في تصنيف أنماط المباني بدقة تصل إلى حوالي 70%.

توضح هذه الدراسة الإمكانيات الكبيرة للذكاء الاصطناعي في أتمتة المهام التي تتطلب التعرف على الأنماط وتحديد الأشياء في سياقات حضرية، مما يجعل الذكاء الاصطناعي أداة مكملة ومتفقة لتحليل المدن، مع التركيز على كيفية استخدام الذكاء الاصطناعي لفهم الأنماط البصرية بشكل أفضل. هذه الدراسة تضيف عمقًا إلى استكشاف كفاءة وقابلية توسيع توقعات الذكاء الاصطناعي البصرية، وتوفر رؤى حول العمليات التفسيرية التي يمكن أن تدعم عمليات الأتمتة في التحليل الحضري والرؤى المستقبلية.