في عالم الذكاء الاصطناعي، تمثل نماذج الرؤية واللغة والحركة (Vision-Language-Action Models) نقطة انطلاق مهمة لفهم كيفية تفاعل الذكاء الاصطناعي مع العالم من حوله. في هذا السياق، يقدم فريق من الباحثين نظامًا مبتكرًا يُعرف باسم Action QFormer.

في هذا البحث الجديد، يتم تناول القضية المهمة لإشراف الأفعال (Action Supervision) في نماذج VLA. حيث غالبًا ما يتم اعتبارها هدفًا ثانويًا لتعليم تنبؤات الأفعال، ولكن تم استكشافها هنا كقوة تشكل التمثيلات المتعددة الوسائط الموروثة. لقد أثبتت الدراسات أن هذا التشكل له تأثير مزدوج: فهو ضروري لتكوين تمثيلات متوافقة مع الأفعال، لكنه قد يؤدي أيضًا إلى عدم الاستقرار في التمثيلات التي تدعم معالجة اللغة وتأمين الأجسام عند تطبيق إشراف الأفعال بشكل مباشر جداً.

للتغلب على هذه المشكلة، قام الباحثون بتقديم Action QFormer، وهي واجهة قائمة على الاستعلامات تركز على الأفعال. تستخدم هذه التقنية استعلامات مشروطة بالتعليم لإعادة تنظيم المعلومات المتعددة الوسائط الموروثة إلى تمثيلات مركزة على الأفعال قبل توليد الأفعال في المراحل التالية.

في تجارب محاكاة التجارة، أظهرت النتائج أن Action QFormer حسّن متوسط نجاح المهام المغلقة من 18.8% إلى 56.3%، وزاد دقة توليد الأفعال وفق التعليمات من 22.5% إلى 75.5%، كما قضى تقريبًا على توليد التعليمات خارج نطاق البيانات.

تشير التحليلات أيضًا إلى أن Action QFormer يغير كيفية تأثير إشراف الأفعال على تشكيل التمثيلات المتعددة الوسائط الموروثة، مما يقلل من إعادة الكتابة الواسعة في المستويات العليا بينما يحافظ على التكيف المستهدف والبنّاء تحت إشراف الأفعال. هذه النتائج تلقي الضوء على أن تحسين أداء نماذج VLA لا يتطلب فقط دعمًا أقوى تم تدريبه مسبقًا، بل يحتاج أيضًا إلى طرق أفضل في اختيار وتنظيم المعلومات المتعددة الوسائط الموروثة مع التحكم في كيفية تشكيلها تحت إشراف الأفعال.