في عالم نماذج اللغات الكبيرة متعددة الوسائط (Multimodal Large Language Models - MLLMs)، تظل هذه النماذج عرضة للهجمات العدائية القابلة للنقل، لاسيما في السياقات المغلقة حيث تكون النماذج البديلة المتاحة هي فقط مفتوحة المصدر. تكمن التحديات الأساسية في أن الهجمات الموجهة الحالية تركز بشكل رئيسي على محاذاة الخصائص العامة للصورة مثل المتجهات المدخلة (encoder [CLS])، مما يعني أنها لا تستغل الهياكل البصرية الدقيقة بصورة كافية.

لذلك، تم تقديم هجوم جديد يُعرف بـ IAU-FOA (Visual-Invariance-Augmented Feature Optimal Alignment)، وهو هجوم يهدف إلى تحسين قابلية النقل بشكل فعال ضد MLLMs المحدودة المصدر. يتضمن هذا الهجوم محاذاة الهجمات العدائية والعينات المستهدفة على مستويين—عالمي ومحلي—حيث يعتمد الهدف على تقليل الفجوة الدلالية العالمية بين العينات، بينما يتم تجميع رموز اللصقات (patch tokens) في أنماط محلية متراصة لتسهيل المحاذاة الدقيقة.

من خلال التركيز على النقل الأمثل المتوازن، يُعتبر IAU-FOA متقدمًا على غيره من الأساليب، حيث يسمح بإدخال توضيحات ديناميكية للعناقيد المستخدمة ذات التوافق الضئيل. كما تمثل الإضافات الإستراتيجية مثل التحولات البصرية، التي تعزز من تنوع التعرض، التباين، والإضاءة، خطوة إضافية نحو تعزيز فعالية هذه الهجمات عبر مصورات بصرية متعددة.

أظهرت التجارب المكثفة على MLLMs المفتوحة والمغلقة أن أداء IAU-FOA يتجاوز بكثير الأساليب الحالية، مما يعزز من تصوره كأداة قوية في ميدان الذكاء الاصطناعي. لمزيد من التفاصيل، يمكنكم زيارة رابط الشيفرة المصدرية المتاحة على GitHub: IAU-FOA Code.

ما رأيكم في هذه الابتكارات في المجال؟ شاركونا في التعليقات!