في عالم سريع التطور من التهديدات السيبرانية، تعتبر تقييمات الأمن السيبراني من الأساسيات. يعتمد الكثيرون على اختبارات تحدي التقاط العلم (Capture-the-Flag) كمعايير لقياس القدرات الهجومية لوكالات الذكاء الاصطناعي. لكن هل تضمن هذه التقييمات فعلاً النجاح الفعلي؟

يكشف بحث جديد عن حدود التقييم التقليدي، حيث تعتمد هذه التقييمات غالبًا على أحكام بسيطة أو درجات عامة، مما يتجاهل المسار الذي اتخذته الوكالات للوصول إلى العَلم. هذا الأمر قد يؤدي إلى خلط حقيقي بين الاستغلال الفعلي للثغرات والعثور المباشر على العَلم، مما يبالغ في تقدير القدرات السيبرانية للوكالات.

للمعالجة، يقدم البحث إطار CTF-ABACUS، الذي يعيد بناء كل محاولة بوصفها ملف حل مدعوم بالأدلة. من خلال تحليل تصرفات الوكالات إلى مراحل اختبار الاختراق (penetration testing) وتقنيات تصنيف، يُمكن معرفة مكان حدوث الاستغلال، ومتى يظهر العَلم لأول مرة، وما إذا كان العَلم المستعاد مدعومًا بسلوكيات مثبتة.

طبقنا CTF-ABACUS على 1,435 محاولة تحدي قُدمت من قبل ستة نماذج رائدة ومفتوحة المصدر عبر 240 تحديًا، مما أظهر 2,870 ملف حل تحت عدستين مختلفتين. ووجدنا أن الاستغلالات المعتمدة على المسار تمثل فقط 62-87% من الأعلام المستعادة عبر التقييمات، في حين أن الاستعاداءات السطحية تتبع مسارات أقل تعقيدًا.

تُغير هذه الاكتشافات تقييمات تحديات التقاط العلم من مجرد احتساب الأعلام المستعادة إلى التحقق من الاستغلال المُظهر، مما يوفر أساسًا لتصميم معايير تقييم تعزل قدرات الهجوم بشكل أفضل. هل تعتقد أن هذا الابتكار يمكن أن يحدث فرقًا في تقييمات الأمن السيبراني؟ شاركونا آرائكم في التعليقات.