لطالما كانت اختبارات الاختراق تُستخدم لتقييم قدرة الخصوم على استغلال نقاط الضعف في البرمجيات أو البنية التحتية أو التكوينات. ولكن في عصر الأنظمة المدعومة بالذكاء الاصطناعي، أصبحت هذه الطريقة غير كافية. حيث يمكن للخصوم التأثير على المدخلات، المحتويات المسترجعة، والبيانات التدريبية ليتلاعبوا بسلوك النظام دون الحاجة لاختراق بنيته التحتية.

تأخذ هذه الورقة في الاعتبار مفهوم "اختبار الاختراق المدعوم بالذكاء الاصطناعي"، الذي يركز على Evaluation سلوكية مدفوعة بالأهداف. يُعرَّف النظام المدعوم بالذكاء الاصطناعي بأنه نظام يتأثر سلوكه بشكل كبير من النماذج المتعلمة، مما يؤثر على النتائج التشغيلية. وعليه، يُعَرَّف "اختبار الاختراق المدعوم بالذكاء الاصطناعي" على أنه التحفيز القابل للتنفيذ للسلوك الذي تحكمه الذكاء الاصطناعي والذي ينتهك أحد الأهداف التشغيلية.

تقدم الورقة مقترحًا لأسلوب اختبار يحدد الأهداف التشغيلية، ويحلل تأثيرات الخصوم، ويحدد معايير الفشل السلوكي، وينفذ اختبارات قائمة على السيناريوهات. من خلال استعراض مثالي لمساعد عمليات الأمان المدعوم بالذكاء الاصطناعي، تُظهر الورقة كيف يمكن أن يحدث الاختراق بواسطة التأثير السلوكي بدلاً من اختراق البنية التحتية.

تعتبر هذه التصورات، بالإضافة إلى الأسلوب، بمثابة إطار تقني لتقييم نجاح الخصوم في الأنظمة المدعومة بالذكاء الاصطناعي المعبأة.