هل تستطيع نماذج رؤية اللغة توضيح المستقبل؟ اكتشاف استراتيجيات جديدة للتنبؤ الديناميكي

في خطوة مثيرة نحو تعزيز قدرة نماذج رؤية اللغة (Vision-Language Models - VLMs) على التنبؤ بالحالات المستقبلية، تم إجراء دراسة جديدة تبحث في إمكانية هذه الأنظمة في القيام بالتنبؤ الديناميكي للأحداث (Forward Dynamics Prediction - FDP) اعتمادًا على مشاهد سابقة وإجراءات مقترحة.

لكن، هل يمكن أن تقيم هذه النماذج الانتقالات الفزيائية بين اللقطات بناءً على التعليمات؟

عبر التحليل، وجدت الدراسة أن VLMs تعاني من صعوبة في توليد انتقالات منطقية بين الإطارات من خلال الأوامر الخاصة بها. ومع ذلك، تم الكشف عن اختلال حاسم في التأصيل متعدد الوسائط: إن تعديل VLMات لتتعلم التنبؤ بالعكس الديناميكي (Inverse Dynamics Prediction - IDP) بات أسهل بكثير من التنبؤ الديناميكي للأحداث.

هذا الارتباط المهم أدى إلى اقتراح استراتيجيتين أساسيتين:
1. **التعلم الخفيف الإشراف من البيانات الاصطناعية**: حيث يمكنك استخدام IDP لتسمية الإجراءات المتعلقة بأزواج الإطارات غير المسماة، مما يعزز حجم بيانات التدريب للـ FDP.
2. **التحقق في وقت الاستدلال**: يمكن أن تعطي IDP مكافآت لعينات متعددة من FDP لتوجيه عمليات البحث بفاعلية في وقت الاستدلال.

تم تقييم FDP الناتجة عن كلتا الاستراتيجيتين من خلال مهمة تعديل الصور بناءً على الإجراءات باستخدام Aurora-Bench بمجموعتين من VLMs. على الرغم من أن النماذج لا تزال تُعتبر متعددة الأغراض، إلا أن أفضل نموذج حقق أداءً تنافسياً مقارنة بأحدث نماذج تعديل الصور، محققة تحسينات تتراوح بين 7% إلى 13% وفقاً لتقييم GPT4o.

ينبئ هذا التقدم بتحقيق قفزات جديدة في قدرة نماذج رؤية اللغة على فهم وتوقع العالم من حولنا، مما يوفر لنا أدوات قوية للمستقبل.

ما رأيكم في هذه الطفرات التكنولوجية؟ هل تعتقدون أن الذكاء الاصطناعي سيصبح قادراً على التنبؤ بمستقبلنا؟ شاركونا في التعليقات.