في عالم الذكاء الاصطناعي، تلعب أنظمة الرؤية اللغوية (Vision-Language Agentic Systems) المدعومة بالنماذج الكبيرة (Large Vision-Language Models) دورًا متزايد الأهمية في فهم وتفسير المواقف الحقيقية. ولكن ماذا يحدث عندما تتداخل الإشارات البيئية الحقيقية مثل إشارات المرور مع إدخالات بصرية مضللة؟

تعتبر هذه الإشارات ضرورية لتوجيه سلوك الوكلاء الذكيين، ولكن يمكن استخدامها أيضًا بطرق خبيثة لتشويه نوايا المستخدم، مما يشكل تهديدات أمنية. يُطلق على هذه الظاهرة اسم "الارتباك في حدود الثقة"، حيث يواجه الوكلاء تحديًا في التصرف بناءً على الإشارات الشرعية دون الوقوع في فخ الإشارات الخادعة.

لأنظمة الذكاء الاصطناعي الحالية، أظهرت الدراسات أن العديد منها تفشل في تحقيق التوازن المطلوب في هذا المجال، إما من خلال تجاهل الإشارات المفيدة أو اتباع التعليمات الضارة. وقد تم تقييم سبعة نماذج من الوكلاء الذكيين (LVLM) ضمن عدة إعدادات تجريبية، مما كشف النقاب عن ضعف هذه الأنظمة أمام إدخالات بصرية بنيوية وضوضائية.

لمعالجة هذه القضايا، تمت تطوير إطار عمل دفاعي متعدد الوكلاء يُفصل بين الإدراك واتخاذ القرارات، مما يمكّن النظام من تقييم موثوقية المعلومات البصرية بشكل ديناميكي. تشير النتائج إلى أن هذا النهج يعزز الأمان، حيث يقلل من السلوكيات المضللة بينما يحتفظ بالاستجابة الصحيحة.

يمكنك الاطلاع على الشيفرة المصدرية وإطار التقييم المتاح عبر الإنترنت لمزيد من المعلومات، مما يوفر فرصة للباحثين والمطورين لاستكشاف هذه الابتكارات وتطبيقها.