ثورة الذكاء الاصطناعي تحت الماء: تسريع التعلم المعزز متعدد الوكلاء للسيارات الذاتية

في عالم تتزايد فيه الاهتمامات العلمية حول المحيطات والبيئة البحرية، تلعب السيارات الذاتية (Autonomous Vehicles) دوراً حيوياً في تحقيق مهام تتبع تحت الماء. ومع تقدم تقنيات التعلم المعزز (Reinforcement Learning)، أصبح بالإمكان التحكم في هذه السيارات بطرق أكثر دقة وكفاءة. ومع ذلك، تكمن التحديات في توسيع نطاق هذه التقنيات لتشمل أساطيل من السيارات، وهي خطوة ضرورية لضمان تتبع عدة أهداف في وقت واحد أو أهداف تتحرك بسرعة.

فالممارسة المعروفة بالتعلم المعزز متعدد الوكلاء (Multi-Agent Reinforcement Learning - MARL) تعاني من قلة فعالية العينة، مما يجعل تدريب الأساطيل أمرًا معقدًا. بينما توفر المحاكيات عالية الدقة مثل Gazebo's LRAUV محاكاة لروبوت واحد بسرعة تصل إلى 100 ضعف الزمن الحقيقي، فإنها لا تسهم بنفس القدر في التسريع عند التعامل مع عدة سيارات.

للتغلب على هذه القيود، تم تطوير بيئة مدعومة بمعالجات الرسوميات (GPU) التي تحقق تسارعاً يصل إلى 30,000 مرة مقارنةً بـ Gazebo، مع الاحتفاظ بديناميكيات المحاكاة اللازمة لتدريب النماذج التنفيذية. وهذا يسمح بتدريب سريع وشامل باستخدام GPU، وتحويل سهل إلى Gazebo للتقييم.

علاوةً على ذلك، تم تقديم بنية تعتمد على المحولات (Transformers) تُعرف باسم TransfMAPPO، وهي نموذج تعليمي يمكنه تعلم السياسات التي لا تعتمد على حجم الأسطول أو عدد الأهداف. هذه البنية تتيح التعلم المنهجي لتدريب أساطيل أكبر على سيناريوهات أكثر تعقيداً.

بعد إجراء تدريب واسع النطاق باستخدام المعالجات الرسومية، تم التعامل مع تقييمات شاملة في Gazebo، مما أظهر أن طريقتنا تحافظ على معدلات خطأ في تتبع الأهداف تقل عن 5 أمتار حتى مع وجود أهداف متعددة سريعة الحركة. إن هذا الإنجاز يعكس التأثير الهائل الذي يمكن أن يحدثه الذكاء الاصطناعي في مجال تتبع الأهداف تحت الماء، مما يمهد الطريق لمستقبل مليء بالإمكانيات.