تُعد النماذج المتعددة الوظائف للرؤية-اللغة-الإجراء (VLA) من الأدوات القوى التي تربط بين خوارزميات الرؤية واللغة لتسهيل اتخاذ القرارات. ولكن السؤال الذي يطرح نفسه: أي طبقات ينبغي أن تظهرها هذه النماذج من واجهتها الكامنة؟ في تحليلٍ حديث تم نشره على منصة arXiv، أُجري البحث لمعرفة تأثير اختيار طبقة واحدة أو دمج طبقات متعددة على الأداء.

تحدثت الدراسة عن استراتيجيات متعددة تشمل ربط نموذج رؤية-لغة مدرب مسبقًا برأس للإجراء، حيث تم اختبار ثلاثة نماذج مدربة مسبقًا على معيارين من المعالجة، وهما LIBERO وCALVIN. وقد أظهرت النتائج أن 47 من بين 54 تكوينًا مختبرًا كانت أداؤها دون المتوسط مقارنة بأفضل سياسة تعتمد على طبقة واحدة. في حين أن هناك مزايا محدودة في الدمج، فإن الاختيار الصحيح للطبقة قد يظهر تأثيرًا كبيرًا على الأداء.

مصادر التحليل تناولت كيفية ثبات أفضل طبقة للمدخلات بالنسبة لكل نموذج ومعيار، مما يجعل عملية الاختيار مهمة للغاية ولكنها مكلفة. ومع ذلك، تم اقتراح أداة جديدة تدعى InfoNCE كمعيار بديل لتقييم جودة الطبقة، حيث أظهرت ارتباطًا إيجابيًا قويًا مع نجاح السياسات. استخدام InfoNCE في اختيار الطبقات يقلل بشكل كبير من الموارد المطلوبة مقارنة باختبارات السياسات الشاملة.

تنحصر النتيجة الرئيسية في أن اختيار الطبقة المناسبة من خلال حساب درجات InfoNCE يتطلب 9-33 مرة أقل من قدرة الحوسبة على وحدات معالجة الرسوم (GPU) مقارنةً بالاستراتيجيات التقليدية، مما يقلل من فقدان الاختيار إلى 3.71 نقطة مئوية. وهذا يفتح الباب أمام مزيد من الأبحاث في كيفية تحسين أداء النماذج المتعددة الوظائف من خلال تحليل معلوماتي دقيق.