العمارة المثالية غير موجودة: تقييم البيئة المتعددة لوكلاء الفرق الحمراء الهيكلية

تتزايد أهمية وكالات الفرق الحمراء المستقلة في اختبار الدفاعات السيبرانية المعتمدة على الذكاء الاصطناعي بشكل مستمر، حيث تقوم هذه الوكالات بتخطيط استراتيجيات وتنفيذ هجمات متعددة المراحل. تستخدم هذه الوكالات أساليب متطورة مثل التعلم المعزز (Reinforcement Learning - RL) ونماذج اللغات الكبيرة (Large Language Models - LLMs)، وقد تم دمجها في هياكل هجين سابقة. لكن هل تعكس مزايا تلك الهياكل قوة القرار بشكل عام أم أنها تعكس فقط توافقها مع بيئة معينة؟

للإجابة على هذا السؤال، تم إجراء دراسة مقارنة بين هياكل فرق حمراء هيكلية متجانسة: مخطط باستخدام التعلم المعزز مع منفذ باستخدام التعلم المعزز (RL+RL)، ومخطط باستخدام نماذج اللغات الكبيرة مع منفذ باستخدام نماذج اللغات الكبيرة (LLM+LLM). تم تقييم الأداء ضد مدافعين مستقلين محترفين في بيئتين مختلفتين: CybORG CAGE-4 وسايبر ويل (Cyberwheel)، وعلى نطاقين شبكيين مختلفين.

أظهرت النتائج تحولًا ملحوظًا يعتمد على البيئة. فقد حقق نموذج RL+RL النجاح في بيئة CAGE-4 المحصورة بكثافة، حيث بلغ معدل نجاحه في إحداث الاضطراب 78.5% مقارنة بـ 18.0% لأقوى إعداد من نماذج LLM. وفي شبكة Cyberwheel المكونة من 100 مضيف، كان أداء RL+RL أفضل أيضًا بنسبة 81.0% مقابل 50.5% لنموذج LLM. لكن في شبكة Cyberwheel الأوسع المكونة من 1010 مضيف، تفوق نموذج LLM المدرب مسبقًا بنسبة نجاح بلغت 55.0%، بينما لم ينجح نموذج RL في ذلك (0.0%).

تفسر دراسة تحليل سلسلة القتل (Kill-chain analysis) هذا التباين من خلال الاختناقات الموجودة في العمارة المستخدمة، حيث يكتشف نموذج RL ومحاولته للتأثير على المضيفين لكن يستمر في التوقف عند تصعيد الامتياز. بالمقابل، تتحصل نماذج LLM على وصول متميز لكنها نادرًا ما تحقق تأثيرًا فعليًا.

تشير هذه النتائج إلى أن الاستنتاجات المستخلصة من بيئة واحدة قد تكون غير قابلة للتعميم، وأن تصميمات المخطط والمنفذ الهجينة ينبغي أن تتوجه نحو نماذج الفشل المحددة بدلاً من الافتراض أن عمارة واحدة هي المفضلة دائمًا.