في العصر الحديث للذكاء الاصطناعي، نجد أن نماذج الرؤية-اللغة-العمل (VLA) تتجه نحو تحقيق نجاحات مثيرة، حيث تجمع بين قدرات نماذج الرؤية واللغة (VLM) في تلك السياسات. في دراسته الجديدة، تحثنا VLM4VLA على التفكير مجددًا في اختيار تلك النماذج وكيفية تأثيرها على الأداء في المهام اللاحقة.

تقدم VLM4VLA طريقة تكييف بسيطة تتيح تحويل نماذج VLM العامة إلى سياسات VLA باستخدام مجموعة صغيرة من المتغيرات القابلة للتعلم، مما يسمح بإجراء مقارنة فعالة وعادلة. على الرغم من بساطتها، إلا أن الدراسة توضح أن VLM4VLA تنافس بشدة التصميمات الشبكية الأكثر تعقيدًا.

من خلال دراسات تجريبية واسعة على عدة مهام عبر ثلاثة معايير، يظهر البحث أن بدء العمل باستخدام VLM يحقق فوائد ملحوظة مقارنةً بالتدريب من الصفر. ومع ذلك، فإن القدرات العامة لنموذج VLM ليست دائمًا مؤشرات موثوقة لأدائه في المهام اللاحقة، مما يتحدى الفرضيات الشائعة حول القدرات النموذجية.

الأكثر إثارة هو أن تحسين أداء VLM في مهام مجسدة معينة لا يضمن بالضرورة تحسين الأداء في التحكم اللاحق. وقد أظهرت التحقيقات تأثيرًا كبيرًا لمكونات معينة في النموذج، حيث يشير البحث إلى أن الوحدة البصرية في VLM تشكل نقطة عطل رئيسية فيما يتعلق بالأداء.

من خلال تطبيق إشراف ذي صلة بالتحكم على مشفر الرؤية في VLM، تم تسجيل تحسينات ملحوظة، حتى عندما يبقى المشفر ثابتًا أثناء عملية تحسين المهام اللاحقة. يجسد هذا الفجوة المستمرة بين أهداف التدريب المسبق للنموذج VLM ومتطلبات التخطيط للعمل المجسد، وهذا يدفعنا للتفكير في كيفية تحسين الأداء بشكل فعال.

هل أنتم متحمسون لرؤية كيف ستتطور هذه الأنماط الجديدة في الذكاء الاصطناعي؟ شاركونا آرائكم في التعليقات!