تُعتبر النماذج اللغوية الضخمة (Large Language Models) عرضة لهجمات الحقن النقطي (Prompt Injection Attacks)، حيث يمكن لمحتوى غير موثوق أن يتحكم في سلوك النموذج بشكل ضار. في دراسة حديثة، تم تحليل دور الوسائط المستخدمة في البيانات الهجومية، وقد وُجد أن النماذج متعددة الوسائط تكون أكثر استجابة للتعليمات الهجومية عند تقديمها بشكل نصي مقارنة بالطرق غير النصية مثل الصور.

افترض الباحثون أن هذه الفجوة في التعامل مع الوسائط تنشأ عن عملية تعليم تركز على النص، مما يدفع النماذج لتقبل التعليمات النصية بشكل أكبر، في حين تُعتبر الوسائط الأخرى مجرد محتوى للمعالجة.

الخبر المفرح هنا هو أنه تم ابتكار أسلوب دفاعي مبتكر يُعرف باسم "Pictionary"، حيث يتم تحويل جميع الحمولة غير الموثوقة إلى صور قبل وصولها إلى النموذج. وقد أظهرت التجارب على عشرة نماذج وعلى معيارين لقياس هجمات الحقن النقطي، أن هذه الطريقة تقلل بشكل كبير من معدلات النجاح للهجمات، حتى تلك الأكثر تطورًا، مع الحفاظ على فعالية النموذج في الأداء.

نجحت الدراسة أيضًا في إثبات أن تدريب النموذج على تعليمات مصورة يساعد في تقليص الفجوة التي تسبب المشكلة، مما يفتح الأبواب لمزيد من الابتكارات في هذا المجال.