شهدت السنوات الأخيرة زيادة هائلة في الاهتمام بالوكلاء السيبرانيين المستقلين الذين يتم تدريبهم للدفاع عن الشبكات الحاسوبية باستخدام التعلم العميق المعزز (Deep Reinforcement Learning). يتضمن تدريب هؤلاء الوكلاء بيئات تسمي 'صالة رياضية إلكترونية'، حيث يتم استخدام وظائف مكافآت معقدة تجمع بين العديد من العقوبات والحوافز لحالات عمل غير مرغوب بها وحالات مكلفة.

لكن على الرغم من أن هذه المكافآت الكثيفة تساعد في تخفيف التحديات المرتبطة باستكشاف البيئات المعقدة، إلا أنها تحمل مخاطر الانحياز نحو حلول دون المستوى المثالي، مما يعد قضية حاسمة في البيئات السيبرانية المعقدة. الدراسة التي نحن بصددها تقيم بشكل شامل تأثير هيكلة وظيفة المكافآت على التعلم وسلوكيات السياسات باستخدام مجموعة متنوعة من وظائف المكافآت النادرة والكثيفة.

تتضمن الأدوات المستخدمة في الدراسة نوعين من 'صالة الرياضة الإلكترونية' المعروفة، بمجموعة متنوعة من أحجام الشبكات، واستراتيجيات كل من تدرجات السياسات (Policy Gradient) والتعلم القائم على القيمة (Value-Based RL). وفي إطار هذا التقييم، تم توظيف نهج مبتكر للتقييم يسمح بالمقارنة المباشرة بين وظائف المكافآت المختلفة، مما يعكس العلاقات الدقيقة بين المكافآت، مساحة العمل، والمخاطر المرتبطة بالسياسات غير المثلى.

تظهر النتائج أن المكافآت النادرة، شريطة أن تكون مرتبطة بالأهداف ويمكن مواجهتها بشكل متكرر، توفر بشكل فريد موثوقية أكبر في التدريب وتساعد في تطوير وكلاء دفاع سيبراني أكثر فعالية مع سياسات مخاطر أقل. والأكثر من ذلك، يمكن أن تؤدي المكافآت النادرة أيضًا إلى سياسات تتماشى بشكل أفضل مع أهداف المدافعين السيبرانيين وتستخدم بشكل موفر الإجراءات الدفاعية المكلفة دون عقوبات عددية واضحة على أساس المكافآت.