في عالم الذكاء الاصطناعي، تلعب نماذج الرؤية واللغة (Vision-Language Models أو VLMs) دورًا حيويًا في دعم العديد من التطبيقات بدءًا من الإجابة عن الأسئلة المرئية إلى توليد الصور من النصوص. ومع تزايد اعتماد هذه النماذج، تمثل سلسلة التوريد الخاصة بها نقطة ضعف حيوية. يتضمن هذا النظام توزيع نقاط التحقق المعدة مسبقًا، وتعريفات الهيكل، ومكونات تعليم النص، والرسوم البيانية المحسوبة القابلة للتصدير التي تديرها أطراف ثالثة.

لكن ما قد يغفل عنه الكثيرون هو أن هذه السلسلة من التوريد تشكل حدودًا حرجة من ناحية الأمان، حيث تطبق نماذج الرؤية واللغة ميزات مُعدلة من قبل مزودين قد يكون لهم نوايا خبيثة. دراسة جديدة تُظهر كيف يمكن لمهاجم استغلال ثغرة معمارية لتعزيز سلوك ضار داخل النماذج عبر استغلال ما يُسمى بـ"توجيه التمثيل" دون الحاجة إلى تعديل بيانات التدريب أو التحكم في عمليات التعديل المستمرة.

يعتمد الهجوم على إدخال منطق توجيه خامد في هيكل النموذج، حيث يتفاعل مع ما يُعرف بـ"مشغل التشغيل" لإحداث تغييرات تضع التمثيل الداخلي في اتجاه محدد مسبقًا من قبل المهاجم. وعلاوةً على ذلك، يُظهر الهجوم كيف يمكن أن تتعرض نزاهة النموذج وأمان تنفيذ سلوكياته للخطر، بينما يظل أداؤه طبيعيًا عند عدم وجود المحفز.

بالإضافة إلى ذلك، يُقترح إجراء تدقيق يستخدم لفحص المنطق التنفيذي المُوزع مع نماذج VLM بدلاً من الاعتماد فقط على الأوزان المُتعلمة، مما يُعزز من أمان هذه النماذج في المستقبل.