كشف الخبايا: كيف تساءل نماذج اللغات البصرية عن الأمن من خلال التحليل الطيفي!

تتزايد أهمية النماذج اللغوية البصرية (Vision-Language Models) في عالم الذكاء الاصطناعي، حيث أثبتت جدارتها في التعامل مع المهام المعقدة. ومع ذلك، فإن ضعف هذه الأنظمة أمام الهجمات العدائية قد يصبح نقطة ضعف حاسمة. في دراسة جديدة نُشرت على موقع arXiv، تم تسليط الضوء على تفاعل النماذج العميقة مع هذه التهديدات من خلال تحليل الطيف.

تتناول الدراسة هيكل التحويلات الخطية الوسيطة التي تنقل المعلومات عبر الشبكات العصبية العميقة، وهذا الجانب يعد من الجوانب غير المستكشفة في موضوع الضعف العدائي. تم التركيز على النماذج القائمة على المحولات (Transformers) التي تتضمن طبقات خطية يمكن تفسيرها من خلال تحليل طيفي، مما يجعل فهم قوتها في مواجهة الهجمات أمرًا بالغ الأهمية.

تقترح الدراسة هجومًا جديدًا يُعرف بـ "هجوم تحكم الطيف على الطبقات الوسيطة" (Spectral-Subspace-Guided Attack - SSGRA) الذي يعدل التمثيلات الوسيطة ليتوافق مع الفضاءات التي تمثلها المتجهات الخاصة السفلية.

تبين التجارب أن هذا الهجوم الجديد قد قدم فعالية محسنة مقارنة بالأساليب السابقة. وعلاوة على ذلك، يُقدم SSGRA تفسيرًا طيفيًا لضعف النماذج البصرية اللغوية، مما يقدم رؤى جديدة لتحسين قدرتها على مواجهة هذه التهديدات.