في عالم الذكاء الاصطناعي، تبرز نماذج الرؤية-اللغة (Vision-Language Models) كأحد الابتكارات المذهلة في مجال تحليل الصور الحضرية وخلق أوصاف منظمة للبيئات. تُستخدم هذه النماذج في مجموعة متنوعة من الاستخدامات، مثل مراجعة صور الشوارع، ورسم الخرائط، والتشاور العام، مما يعكس بشكل واضح السمات القابلة للملاحظة مع فئات التقييم.

ومع ذلك، تُظهر البحوث الأخيرة التي ناقشت معايير تقييم هذه النماذج ضرورة التفكير في توافق الآراء البشري وكل ما يتعلق بالاختلافات التي قد تحدث بينهم. حيث أن الأهداف البشرية غالبًا ما تكون توزيعات من الأحكام، مما يعني وجود مناطق اتفاق واختلاف.

يدعو البحث إلى ضرورة اعتبار الاختلافات في الآراء والتجاهل كجزء من نواتج القياس، بالإضافة إلى أهمية الإبلاغ عن موثوقية الحكم من المتعهدين بالتوازي مع توافق النماذج. فالتعامل مع فضاء التسميات وسياسات التقييم كمواد قابلة للتفاوض يمكن أن يعزز من صلاحية النتائج المعنية بتحسين إدارة المدن.

استند البحث إلى تقييم لـ100 مشهد حضري في مدينة مونتريال، تم تقييمهم عبر 30 بعدًا بواسطة 12 مشاركًا من سبع منظمات مجتمعية. وقد أظهرت النتائج أن توافق النموذج مع توافق الآراء البشرية يتقلب وفقًا لموثوقية البشر على مستوى الأبعاد.

في ختام البحث، تم اقتراح عدد من الإجراءات للجهات المسؤولة عن إنشاء المعايير ومطوري النماذج لتسليط الضوء على عدم اليقين وافتراضات التقييم في التقارير، مما يضمن أن تكون هذه الأدوات أكثر نشاطًا وواقعية في مساعدة الحكومات المحلية على اتخاذ قرارات مستندة إلى بيانات دقيقة.