في عالم مليء بالمعلومات الحسية، يؤكد الباحثون أن الصور قد تخبرنا بكيفية ظهور مشهد ما، ولكن نادرًا ما تعطينا فكرة عن الشعور بوجودنا فيه. على الرغم من أن هناك مجموعات بيانات حديثة تربط بين المشاهد المرئية وقياسات الأنف الإلكترونية، يظل التنسيق بين إشارات الشم والصور تحديًا لأنه غالبًا ما تنشأ العديد من المؤشرات الشمية من عوامل بيئية سياقية غير مرئية مباشرة في الصور.

لذا، يتمثل الحل في إطار SCENT، الذي يستخدم إرشادات اللغة كجسر دلالي بين الرؤية والشم. تعتمد هذه الطريقة على نماذج اللغة المرئية (Vision-Language Models) لتوليد أوصاف للمشاهد تلتقط كائنات وسياقات بيئية وأقوال شمية محتملة مقترحة من المشهد المرئي. توفر هذه الأوصاف إرشادات دلالية لتعلم تمثيلات الشم.

تقوم التقنية الجديدة بتدريب وحدة تشفير للروائح، تقوم بتحويل إشارات الأنف الإلكترونية إلى مساحة تجميع مشتركة متوافقة مع التمثيلات المرئية والنصية، كما أنها تقدم تحللًا كامنًا موGUIDًا باللغة يفصل الروائح الخاصة بالكائنات من المساهمات البيئية السياقية.

أظهرت التجارب على مجموعة بيانات روائح نيويورك أن SCENT يحسن بشكل كبير من استرجاع المعلومات بين الحواس مقارنةً بأساليب الرؤية فقط، حيث تحقق نتائج رائدة في مهام استرجاع الروائح إلى الصور والنصوص. وبالإضافة إلى ذلك، ينتج إطارنا تمثيلات شمية قابلة للتفسير تمكّن من تفكيك معقد لمزيجات الروائح. تكشف نتائجنا عن أهمية المعلومات الدلالية السياقية في تأسيس الإدراك الشمي في التعلم المتعدد الحواس، مما يفتح الطريق أمام أبحاث مستقبلية في هذا المجال.