ابتكار ثوري في القيادة الذاتية: تحسين المشاهد الموجهة بالتهديد لتحقيق الأمان مع التعلم المعزز!

في عالم القيادة الذاتية، يمثل الأمان أحد أبرز التحديات التي تواجه الباحثين والمطورين. رغم أن التعلم المعزز (Reinforcement Learning) أظهر أداءً واعدًا في هذا المجال، إلا أن ضمان سلامة السياسات المتعلمة عبر الإنترنت لا يزال يمثل تحديًا كبيرًا. يعود ذلك إلى عدم التعرض الكافي للمشاهد الحرجة من الناحية الأمنية خلال عملية التدريب.

تُظهر تقارير أن الطبيعة المطولة لحالات المرور الواقعية تجعل من الصعب مواجهة التفاعلات الخطرة والندرة، مما يقيد قدرة سياسات التعلم على تطوير سلوكيات أمان موثوقة. تقدم الطرق الحالية تحسينات من خلال توليد مشاهد أُخرى أو مواقف عدائية، لكنها غالبًا ما تفصل بين الأهداف الخاصة بتوليد المشاهد والسياسات المتطورة، دون التركيز على العلاقة بين الاضطرابات المولدة وضعف السياسات الحالية.

تُقدِم ورقة بحثية جديدة تقنية "تحسين المشاهد الموجهة بالتهديد" (Threat-guided Policy-aware Scene Perturbation) لضمان قيادة ذاتية آمنة باستخدام التعلم المعزز عبر الإنترنت. هذه التقنية تعرّف مشفر مشهد واعٍ بالسياسة grabs لسلوكيات السياسة التي تتفاعل مع البيئات المحيطة، مما يمكنها من توجيه الاضطرابات المشهدية وفقًا لما تحتاجه السياسة الحالية.

وبهذا، تُركز TPSP على تغيير العناصر الحرجة فقط، وليس تطبيق تعديلات أحادية على كامل المشهد. علاوة على ذلك، تم تطوير استراتيجية تحسين موجهة بالتهديد التي تقيم المشاهد المضطربة من خلال تقييم الفروقات في مستوى التهديد بين تنفيذات السياسة على المشاهد الأصلية والمضطربة، مما يوجه إلى إنشاء مشاهد حرجة أكثر قيمة في التدريب.

تثبت التجارب الشاملة أن TPSP تعزز كفاءة تعلم السلامة، حيث تحقق أداءً قويًا في الأمان على منصة NAVSIM v2 باستخدام بيانات قيادة محاكية تصل إلى حوالي 4 مليون كيلومتر. وتظهر دراسات التحقق أن الاضطرابات المستهدفة الواعية بالسياسة تقدم تجارب حرجة أكثر فعالية من الاستراتيجيات العشوائية أو غير الواعية بالسياسة، مما يمكّن من قيادة أكثر أمانًا تحت قيود التفاعل المحدود.