تعزيز أمان التعلم المعزز: كيف تضمن تحليلات التدرجات السلامة للروبوتات المستقلة

في عالم الروبوتات المستقلة، تعتبر السلامة من أولويات البحث والتطوير، خاصة عند نشرها في تطبيقات حرجة تتطلب ضمانات للأمان. يعتبر التعلم المعزز الموثوق (Provably Safe Reinforcement Learning) مجالًا نشطًا يسعى لتحقيق هذه الضمانات بواسطة الحواجز الأمنية.

تُعد الحواجز الأمنية ضرورية أثناء التدريب للحد من الفجوة بين المحاكاة والواقع (Sim-to-Real Gap). بينما توجد عدة أساليب لحماية التعلم المبني على عينة، فإن التعلم المعزز القائم على التدرجات التحليلية (Analytic Gradient-based Reinforcement Learning) غالبًا ما يُظهر أداءً متفوقاً من خلال تقليل عدد التفاعلات مع البيئة.

ومع ذلك، كانت تفتقر هذه الأساليب إلى وجود حواجز أمان مناسبة حتى الآن. يأتي عملنا ليتناول هذه الفجوة من خلال تطوير الحاجز الفعال الأول لهذا النوع من التعلم. لقد قمنا بتحليل الحواجز الحالية القابلة للاشتقاق، وأعدنا تكييفها من خلال تعديل الخرائط وصياغات التدرجات، ودمجها في خوارزمية تعلم حديثة ومحاكاة قابلة للاشتقاق.

عبر إجراء تجارب عددية على ثلاث مهام تحكم، قمنا بتقييم كيفية تأثير الحواجز المختلفة على التعلم. النتائج تشير إلى إمكانية التدريب المؤمَّن بدون التنازل عن الأداء. لمزيد من المعلومات والمرئيات، يمكن زيارة [timwalter.github.io/safe-agb-rl.github.io](http://timwalter.github.io/safe-agb-rl.github.io).