في عالم الذكاء الاصطناعي، يشهد مجال الروبوتات تقدمًا ملحوظًا بفضل نماذج رؤية-لغة-فعل (VLA) التي تعتمد على آليات مبتكرة مثل التفكير التسلسلي (Chain-of-Thought - CoT). تُظهر هذه النماذج قدرة رائعة على تحسين الفهم والتفسير في سياق الحركة والتلاعب الأشياء. لكن المفاجأة تأتي من وجود نقطة ضعف كبيرة لم تُستكشف حتى الآن: أمن آليات التفكير التسلسلي.
في ورقة بحثية جديدة، تم إدخال مفهوم هجوم غير تقليدي يُسمى TRAP، الذي يستغل طريقة التفكير التسلسلي للتلاعب بسلوكيات الروبوتات. على سبيل المثال، يمكن توجيه الروبوت لتسليم سكين بدلاً من تفاحة دون الحاجة لتغيير تعليمات المستخدم.
أظهرت التجارب أن التفكير التسلسلي يتحكم بشكل قوي في توليد الأفعال، حتى عندما تكون التعليمات المدخلة غير متناسقة مع ذلك التفكير. وفي هذا السياق، تم تقديم TRAP كأول هجوم موجه للتلاعب بالسلوك باستخدام بقع عدائية (Adversarial Patches)، مثل وضع مفرش طاولة على الطاولة، لتوجيه التفكير التسلسلي والأفعال نحو سلوكيات يعرفها المعتدي.
تم إجراء تقييمات مكثفة على ثلاثة نماذج VLA تمثل آليات التفكير التسلسلي المختلفة، مما يبرز فعالية تقنية TRAP في تنفيذ الهجوم. والأكثر إثارة هو أنه قد تم تنفيذ هذه التجربة في بيئة واقعية بواسطة طباعة البقعة على الورق.
تسلط نتائج هذه الأبحاث الضوء على الحاجة الملحة لتأمين آلية التفكير التسلسلي في أنظمة VLA، لضمان عدم الخروج عن مسار الأوامر الموجهة من المستخدمين. لمزيد من المعلومات، يمكنكم زيارة صفحة المشروع.
احترس! هجوم غير متوقع على ذكاء الآلات: كيفية استغلال تفكير سلسلة الأفكار
في دراسة حديثة، تم الكشف عن ثغرة جديدة في نماذج رؤية-لغة-فعل (VLA) تتيح استغلال آلية التفكير التسلسلي (CoT) للتلاعب بسلوك الروبوتات دون الحاجة لتغيير أوامر المستخدم. تعرفوا على تقنية TRAP التي تكشف هذه المخاطر.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
