في عالم نماذج الذكاء الاصطناعي، تأتي تقنيات الرؤية واللغة بالمزيد من التطورات المثيرة. تمثل نماذج الرؤية واللغة لتحقيق نتائج مبهرة في تعلم سياسات الحركات البصرية، لكنها تبقى في جوهرها تفاعلية فقط؛ حيث تقوم بترجمة الملاحظات الحالية واللغة إلى أفعال دون التنبؤ الديناميكي للأحداث المستقبلية.

في هذه الخلفية، كانت طرق البصيرة البصرية تتنبأ بالحالات المرئية المستقبلية، لكنها تفتقر إلى إرشادات الحركة الدقيقة: حيث تحدد الاتجاه الذي يجب اتخاذه، لكن لا توضح كيفية الوصول إلى هناك.

هنا يأتي دور مشروع FoMoVLA، الذي يمثل إطارًا مبتكرًا يقوم بتعزيز تمثيلات نماذج الرؤية واللغة (Vision-Language-Action) من خلال الإشراف الزماني والمكاني المباشر. عن طريق تعلم مستقبل السمات المتنبئة وتتبع النقاط الثنائية الأبعاد القليلة، نتمكن من تحسين سياسات الحركات المتواصلة.

يقدم FoMoVLA رموز foresight المضغوطة لتفسير حالات السمات المستقبلية، ويفكك مسارات النقاط الثنائية الأبعاد الزمنية النادرة لنموذج الحركة الهندسية المضغوطة، ويربط بين كلا العنصرين من خلال وحدة انتباه عبر الزمن محكومة بالطموحات المستقبلية، مما يتيح التفكير المتسق بين الحالات المتوقعة والديناميات النقاطية.

تظهر التجارب الواسعة على منصات LIBERO، RoboCasa GR-1 Tabletop، وLIBERO-Plus أداءً متميزًا وتعميقًا قويًا للاستخدام العددي المباشر (Zero-shot generalization).

للمزيد من التفاصيل حول هذا البحث المثير، يمكنكم زيارة صفحة المشروع هنا.

ما رأيكم في هذه التطورات المذهلة في نماذج الرؤية واللغة؟ شاركونا بآرائكم في التعليقات!