هجمات حقن الإيعاز: كيف تؤثر على قرارات جيف الاحتمالية؟

في عالم الذكاء الاصطناعي، تبرز أهمية فهم تأثير هجمات حقن الإيعاز (Prompt Injection)، التي تركز غالباً على الوكلاء التوليديين، تاركةً تأثيرها على النماذج التي تُحدد مخرجاتها عبر مخططات (schema-defined outputs) غير واضحة. في هذا السياق، تناولت إحدى الدراسات آثار هذه الهجمات على نموذج "جيف" (Jev) للقرارات الغير توليدية، باستخدام 510 حالة مُعَادِة بناءً لنموذج InjecAgent.

تبين النتائج أن المحتوى الخبيث يؤثر على احتمالات اتخاذ الإجراء، لكن نادرا ما يؤدي إلى اختيار الهدف المحدد من قبل المهاجم. تشير العلامات التعويضية (Override markers) إلى قدرتها في تقليل هذا التأثير، بينما الأقاويل حول الصلة السياقية لها تأثيرات صغيرة. علاوةً على ذلك، تؤدي الهجمات التكيفية التي تستخدم تعليقات النقاط إلى مضاعفة متوسط أعلى احتمالية استهداف المهاجم المكتشفة أثناء عملية تحسين النموذج، حيث ترتفع نسبة النجاح في عمليات التحقق الجديدة من 1.8% إلى 3.5%.

تحليل البيانات الاستكشافية يظهر أن هذه النجاحات مرتبطة بهوامش القرار الأولية الصغيرة أو التأثير الأكبر للمهاجم على المشاهدة. ولذا، فإن مجمل هذه النتائج تبرز الخطر المستمر المتعلق بهجمات حقن الإيعاز، مما يستدعي ضرورة تقييم كيفية تأثير المحتوى غير الموثوق على الخيارات المتاحة داخل مجموعة الإجراءات المصرح بها.