في عصر تتزايد فيه أهمية الذكاء الاصطناعي في تطوير البرمجيات، يأتي معيار تحديد مواقع الثغرات (VLoc Bench) ليكون نقطة انطلاق جديدة لفهم كيفية تشغيل الوكلاء الذكيين عبر مستودعات البرمجيات بالكامل. يُركز المعيار على مهمة هامة وهي: القدرة على تحديد الثغرات في الشيفرة البرمجية، بدلاً من فقط اكتشافها أو إصلاحها.

تغطي دراستنا 500 ثغرة من 290 مستودعاً عبر ستة نظم بيئية للحزم و147 فئة من فئات مواصفة الضعف (CWE). يتلقى الوكيل في كل مهمة صورة للمستودع قبل وبعد إصلاح أمني، حيث يتعين عليه التعرف على الملفات المتعلقة بالثغرة المعطاة.

النقاط التي تتطرق إليها الدراسة تشمل التركيبة المعقدة لعملية تحديد المواقع؛ إذ تظهر النتائج أن النظام الأقوى قد حقق معدل 0.229 في تقييم الملف، بينما لم يتمكن 38.4% من المهام من الحصول على تحديد صحيح عبر أي نموذج تم تقييمه. كما أنه وجد أن قدرة النظام على تحديد الملفات المعرّضة للثغرات لا تعني بالضرورة سلوكاً موثوقاً بعد الإصلاح، مما يجعل من الواضح أن هناك حاجة ملحة لتطوير هذه الأنظمة.

يُظهر هذا البحث أن تحديد مواقع الثغرات هو قدرة متميزة تتطلب المزيد من الدراسات لفهم كيفية بحث الوكالات الأمنية عن الشيفرات الضعيفة، ومتى يجب عليها الامتناع عن الإبلاغ عنها.