في بيئات العمل عالية المخاطر مثل الاستجابة للكوارث، يعتمد الوعي بالوضع (Situational Awareness) بشدة على القدرة على تحديد المخاطر والتواصل بشأنها بفعالية مع المشغلين البشريين. لقد أظهرت نماذج اللغة البصرية (Vision Language Models) إمكانيات قوية في فهم المشاهد في إعدادات حرجة، إلا أن استخدامها في النظم الروبوتية الموجهة نحو الإنسان لا يزال بحاجة إلى استكشاف أعمق.

في هذا السياق، نقدم إطار عمل قائمة على الواقع الافتراضي لدراسة كيفية دعم الروبوتات المدعومة بنماذج اللغة البصرية في تحسين الوعي بالوضع في بيئات خطرة محاكية. يقوم الروبوت في نظامنا بالاستكشاف في مشهد افتراضي ويسأل النموذج عن المخاطر المحتملة ويقوم بتحديد نقاط اهتمام للمستخدم. تُعرض هذه التعليقات بشكل تفاعلي للمشغل البشري من خلال واجهة واقع افتراضي غامرة.

أظهرت نتائج دراستنا أن واجهة الواقع الافتراضي المعنونة كانت مفضلة على النسخة غير المعنونة، كما أفاد المشاركون بوضوح وفائدة وراحة عالية عند التفاعل مع النظام. هذه النتائج تشير إلى أن دمج إدراك الروبوتات المدعوم بنماذج اللغة البصرية مع التصوير الغامر يمثل نهجاً واعداً لدعم الوعي بالوضع في البيئات الخطرة.