في خطوة جديدة نحو فهم كيفية تحليل النشاط الإنساني في المواقع الإنشائية، تم تقديم مشروع مبتكر يسمى SMART-HC-VQA. يعتمد هذا المشروع على مجموعة بيانات مستمدة من صور الأقمار الصناعية من Sentinel-2، تهدف إلى توفير إجابات بصرية للأسئلة المتعلقة بالنشاط البشري.

تجمع مجموعة البيانات هذه بين معلومات شاملة حول مواقع البناء وعلامات نوع البناء والمراحل الزمنية، مما يتيح تحويل هذه البيانات إلى ثلاثيات أسئلة وإجابات بلغة طبيعية. يعتبر هذا المشروع بمثابة تحدٍ جديد للتعرف التلقائي على الأهداف وتحليل الأسئلة البصرية، حيث يتم تناول الموقع الجغرافي كهدف يتطور عبر ملاحظات فضائية محدودة.

يتضمن SMART-HC-VQA 21,837 صورة متاحة من Sentinel-2 و65,511 مثالاً للإجابة على الأسئلة البصرية، بالإضافة إلى حوالي 2.3 مليون مثال للمقارنة الزمنية التي تم إنشاؤها باستخدام تقنية جديدة لتوليد الصور. كما يقدم المشروع تفاصيل حول كيفية الحصول على صور Sentinel-2 ومعالجتها وتحليل توزيع حجم الموقع وعدد الملاحظات.

علاوة على ذلك، تم تنفيذ إطار عمل لتدريب نموذج لغوي متعدد الصور يعتمد على نموذج LLaVA-NeXT Mistral-7B، مما يتيح قبول إدخالات متعددة من الصور التاريخية بالإضافة إلى التدريب على أمثلة مستمدة من البيانات الوصفية. هذا العمل يمثل أساساً قابلاً للتكرار لفهم الأنشطة القائمة على الرؤية الحاسوبية والموجهة لغوياً، مما يسعى لاكتشاف التغيرات وفهم العمليات الجارية وتطوراتها المستقبلية.