في عالم الذكاء الاصطناعي، لطالما كانت جهود تقييم أمان الوكلاء تركز على الهجمات، حيث يواجه المتسللون تحديات أقل من المدافعين الذين يجب عليهم معالجة جميع الثغرات. ولكن مع تقديم CWE-bench، لدينا الآن معيار جديد يسير في الاتجاه المعاكس، حيث يركز على تقييم قدرة الوكلاء على الدفاع بدلاً من الهجوم.

CWE-bench هو معيار خاص يتضمن 120 مهمة للتدقيق والإصلاح تستند إلى 73 نوعًا من الثغرات المعروفة (CWE)، تتضمن ثماني لغات برمجة وتغطي جميع فئات OWASP العشر الأولى لعام 2025. يتمكن الوكلاء من الحصول على مستودع لمراجعته مع وصف لنموذج التهديد، لكن لا يتم إبلاغهم بالثغرات أو مواقعها أو عدد المواقع الضعيفة الموجودة.

يتطلب كل إصلاح منع الاستغلال بينما يتم الحفاظ على الوظائف الأصلية، ويتم التحقق من ذلك بواسطة مدقق برمجي تم التحقق منه ضد مجموعة من الحكام الخبراء الذين قاموا بمراجعة الخلافات أثناء تطوير المنهجية.

تشير النتائج إلى أن أفضل الوكلاء يمكنهم تحقيق مستوى نجاح يصل إلى 68% في الاختبار الأول (pass@1) و81% في الاختبار الرابع (pass@4). كما بينت التحليلات أن الوكلاء الذين يمتلكون نفس المستوى من النجاح في الاختبار الأول يختلفون بشكل كبير من حيث تكاليف إعادة المحاولة والفوائد، وأنه لا يوجد وكيل واحد يمكن اعتباره الأفضل عبر جميع اللغات أو فئات الثغرات.

مع تحسن القدرات الهجومية للوكلاء، يقدم CWE-bench مقياسًا واسعًا ودقيقًا لتقييم ما إذا كانت قدراتهم الدفاعية تتناسب مع هذه التحسينات.