في عالم الذكاء الاصطناعي، تُظهر نماذج الرؤية-اللغة-الإجراء (Vision-Language-Action Models) إمكانات قوية في قيادة الروبوتات، إلا أن استخدامها يتطلب كميات هائلة من بيانات التعلم بالاستنساخ عالية الجودة. ومع ذلك، يثير غياب نموذج عالمي واضح تساؤلات حول قدراتها في التحكم.

في هذا البحث الرائد، نقترح هندسة جديدة تشدد على كفاءة استغلال البيانات في نماذج VLA من خلال تدريب نموذج عالمي تنبؤي في فضاء الترميز الخاص بموديل الرؤية. نفترض أن هذه الترميزات (Embeddings) ذات صلة بالإجراءات ويمكن استخدامها للتنبؤ بالمستقبل.

تسعى هذه الهندسة إلى فهم مدى دقة التنبؤات التي تستند إلى ما يتم استشرافه من إجراءات، حيث أن الفشل في القيام بذلك قد يُعد من القيود الرئيسية لنماذج VLA. النموذج المقترح يختلف عن الديناميات التقليدية لنماذج العالم، إذ تأتي خسارة التدريب من فضاء الترميز بدلاً من فضاء البيكسل، مما يشبه نماذج التنبؤ المشتركة. وعلاوة على ذلك، يمكن استخدام النموذج العالمي المدرب في مهام التخطيط القصير الأجل من خلال عينة من إجراءات VLA بناءً على صور الأهداف.

نهدف من خلال ذلك إلى استكشاف غنى الترميزات البصرية في نماذج VLA وتقليل احتياجاتها العالية من البيانات من خلال نموذج عالمي قادر أيضاً على توليد خطط أثناء مرحلة الاستدلال.