في عالم القيادة الذاتية، تتزايد أهمية الوكلاء المتعددين الوسائط (Vision-language agents) لفهم المشاهد المعقدة والتحليل الدقيق للمواقف الحرجة. وقد تم الإعلان عن تحدي ورشة عمل CVPR 2026@AdvML، الذي يهدف إلى استكشاف الهجمات على هذه الأنظمة وتقديم حلول فعالة لتحسين أمانها.

يعتمد هذا التحدي على نموذج درايف إل إم (DriveLM) للإجابة على الأسئلة المتعلقة بالقيادة، حيث يتم تمثيل كل مشهد بواسطة ست صور متزامنة ومجموعة من أسئلة وأجوبة ذات صلة بالقيادة. يقوم المشاركون بتوليد صور هجومية وتعديلات نصية تساهم في دفع استجابات النموذج للانحراف عن الإجابات المرجعية، مع الحفاظ على جودة الصورة وتقليل تكلفة النص.

يتكون العرض من مرحلتين، إذ تضيف المرحلة الثانية نموذجًا أسود غير مرئي لتقييم إمكانية النقل. أُعدت تفاصيل تصميم المهام، وقواعد التقديم، وبروتوكول التقييم، بالإضافة إلى نتائج تصنيف المشاركين.

عبر خمسة من التقارير التقنية الرائدة، ظهرت أنماط متكررة مثيرة للاهتمام، منها:
- تُفضل الهجمات الجانبية على الصور بسبب عقوبة النهاية.
- التعديل المتعدد للمناظر في المشهد يحقق نتائج أفضل من معالجة المناظر بشكل منفصل.
- توفر أنواع الأسئلة وهياكل الرسوم البيانية معلومات قيمة لتوزيع ميزانية الهجوم.
- الأهداف في فضاء الميزات يمكن أن تعزز النقل في النموذج الأسود.
- المحتوى الطباعي المدسوس في صور الكاميرات يكشف ثغرة مستمرة في الوكلاء الذكيين للقيادة.

تقدم هذه النتائج مرجعًا عمليًا لتقييم قوة الأنظمة المستقبلية وتصميم دفاعات فعالة ضد الهجمات متعددة الوسائط في أنظمة القيادة الذاتية.