في عالم الذكاء الاصطناعي، تُعتبر نماذج رؤية-لغة-إجراء (VLA) أحد أبرز الابتكارات التي تربط بين الإدراك البصري والتعليمات اللغوية لأداء الأفعال المرغوبة بواسطة الروبوتات. ولكن، هل تغفل هذه النماذج عن أهمية رؤية الروبوت لنفسه؟

عند تحديد أفعال الروبوت، يرتكز ذلك على إطار الإحداثيات ثلاثي الأبعاد الخاص بالروبوت، في حين تعتمد معظم نماذج VLA على مشاهد تتم ملاحظتها من خلال عدسة الكاميرا. هذا الاختلاف يؤدي إلى مشكلة فيما يُعرف باسم "الإطار المتباين"، حيث يصعب على النماذج تعميم الأفعال المطلوبة عندما تتنوع زوايا الرؤية. بينما تسجل السياسات فعالة في مشاهد ثابتة، تزداد الصعوبة عندما تتعرض لبيانات ضخمة تحتوي على تنوع في الإعدادات البصرية.

لكن الآن، تم تقديم حل مبتكر يتمثل في "خرائط النقاط الموجهة نحو الروبوت"، وهي صور تحتفظ بإحداثيات 3D لنقاط المشهد في إطار الروبوت نفسه. هذه الخرائط تتيح تقديم هندسة ثلاثية الأبعاد خاصة بالروبوت، مع الحفاظ على بنية الشبكة الواسعة المتوقعة من نماذج VLA المدربة مسبقًا، مما يسهّل دمجها مع الأنظمة الحالية دون الحاجة إلى تغييرات معمارية كبيرة.

وفي تجارب على منصة RoboCasa، أظهرت الخرائط تحسيناً ملحوظاً في أداء النماذج مثل pi0.5 وSmolVLA، متفوقة على نماذج تقليدية تعتمد على الكاميرا. وعندما تم اختبار الخوارزمية على روبوت فعلي، لم تنجح فقط في تحقيق نتائج أفضل من سياسات تعتمد على صور RGB فقط، بل زاد الفارق عندما تحركت الكاميرا إلى مواقع جديدة لم تتم رؤيتها خلال التدريب.