في عالم النماذج اللغوية متعددة الوسائط (Multimodal Large Language Models)، لا تزال الأساليب التقليدية تواجه تحديات كبيرة عند التعامل مع التفكير المكاني الذي يتطلب تحولات في المنظور. المشكلة الأساسية تكمن في اعتماد هذه النماذج بشكل مفرط على الإشارات المرتبطة بالكاميرا، مما يؤدي إلى نقص في الدقة عند تحليل الأجسام من وجهات نظر مختلفة غير مرتبطة بالكاميرا.

في بحث جديد، تم تحليل هذا النمط من الفشل الذي تعاني منه النماذج، حيث أظهرت النتائج أن توجيه الأجسام يعد عاملًا مفتاحيًا يؤثر في هذا السلوك المعتمد على الكاميرا.

لتجاوز هذه التحديات، تم اقتراح إطار عمل جديد يحمل اسم "OrientSAM"، الذي يركز على تحسين المحاذاة المكانية من خلال زيادة الوعي بالتوجه ضمن التمثيلات متعددة الوسائط. يعتمد OrientSAM على دمج معلومات التوجه من خلال رموز الوعي بالتوجه (Orientation-aware tokens) وتقنية تشفير الزوايا المعتمدة على فوريير (Fourier-based angle encoding). هذا التطور لا يقتصر فقط على تحسين الأداء، بل يتضمن أيضًا استراتيجية تعلم تدريجي لتعزيز التفكير المكاني القائم على المنظور.

إحدى الابتكارات الأخرى هي إنشاء خط أنابيب بيانات مكاني يهدف إلى توليد إشراف مكاني واعٍ بالتوجه من خلال استخدام صور ضخمة.

أظهرت التجارب التي أجريت على مجاميع بيانات مثل Spatial-MM وViewSpatial و3DSRBench أن OrientSAM يتفوق بشكل ملحوظ على نماذج أساسية قوية، خاصة في المهام التي تتطلب تركيزًا على الأشخاص أو تلك الحساسة تجاه التوجه.

تؤكد هذه النتائج على أهمية نمذجة التوجه بشكل صريح في تقليل الاعتماد على الإشارات المرتبطة بالكاميرا، مما يفتح الأبواب نحو تفكير مكاني أكثر دقة وقوة في النماذج متعددة الوسائط.