تشهد وكالات اختبار الاختراق المعتمدة على الذكاء الاصطناعي (AI Pentesting Agents) تقدمًا ملحوظًا في الأداء كأنظمة أمنية هجومية، ومع ذلك، فإن المعايير الحالية لا تقدم الكثير من الإرشادات حول الأداء المثلى في الأهداف الواقعية. حيث تتضمن بروتوكولات التقييم الحالية أهدافًا محددة مسبقًا مثل "التقاط العلم" (Capture-the-Flag) وإنتاج الشيفرات البعيدة، مما يجعلها تقتصر على بيئات مبسطة.

تعتبر هذه الأدوات فعّالة لقياس القدرات المحدودة، ولكنها لا تعكس بدقة تعقيد الاختبارات في البيئات الحقيقية التي تحتاج إلى استكشاف مفتوح واتخاذ قرارات استراتيجية. لذلك، تُقدّم الدراسة الجديدة بروتوكول تقييم عملي ينقل التركيز من إكمال المهام إلى اكتشاف الثغرات التحقق، مما يسمح بتقييم الأهداف المعقدة التي تشمل عدة أسطح هجوم وفئات ثغرات.

يجمع البروتوكول بين معلومات دقيقة موثوق بها ومطابقة سُيولِ لغات البرمجة (LLM-based semantic matching) لتحديد الثغرات، مع حل ثنائي لتقييم النتائج في ظل غموض واقعي، وصيانة مستمرة للمعلومات الدقيقة، والتقييم المتكرر والتراكمي لوكالات الاختبار الوهمية (Stochastic Agents). كما يقدم مقاييس فعالية واختيار مجموعة مختصرة للتجارب المستدامة.

يمثل هذا البروتوكول تقدمًا كبيرًا في مجال أدوات اختبار الاختراق بالذكاء الاصطناعي، حيث يُسهل مقارنة أكثر واقعية ومعلوماتية تشغيلية. ولتمكين إمكانية التكرار، تم إصدار معلومات دقيقة مشروطة خبيرة وكود البروتوكول المقترح على GitHub: https://github.com/jd0965199-oss/ethibench.