استراتيجيات مستقبلية مثيرة: تعلم المشاركة المتدرجة في التعلم المعزز المتعدد العملاء

في عالم التعلم المعزز المتعدد العملاء (Multi-Agent Reinforcement Learning - MARL)، تسعى الأبحاث لتطوير استراتيجيات جديدة تسهم في تعزيز التعاون بين الوكلاء. في العادة، يتم تدريب الوكلاء في بيئات متزامنة، مما يجعل كل منهم يتفاعل مع الآخرين في نفس الوقت. لكن، ماذا عن المهام التي تتطلب من بعض الوكلاء التصرف أولاً وترك معلومات قابلة للاستغلال للآخرين؟

تقديم مفهوم المشاركة المتدرجة (Staggered Participation - SP) يسلط الضوء على الحاجة إلى فهم كيفية تأثير الأفعال المبكرة على نتائج المهام المستقبلية من خلال المعلومات التي توفرها. ولذا، تم اقتراح تقنية تعلم المشاركة المتدرجة (Staggered Participation Learning - SPL) كوسيلة للتغلب على تحديات هذا النوع من التعلم.

تعمل SPL على توفير إشراف مستقبلي للمتاجرين الأوائل، مما يمكنهم من اتخاذ قرارات فعالة، بالإضافة إلى تعلم كيفية استخدام الوكلاء المتأخرين للمعلومات المتاحة لهم بذكاء. أدت التجارب التي أجريت عبر بيئات وأسلوب مشاركة متدرجة متعددة إلى نتائج مثيرة، حيث حققت SPL زيادة تصل إلى 14.1% في إنجاز المهام مقارنة بأساليب التعلم التقليدية.

هذا الابتكار يمتد إلى فرق من ثمانية وكلاء، بالإضافة إلى بيئة UAV-UGV المستندة إلى الفيزياء في مختبر إيزاك (Isaac Lab). وبالتالي، تقدم هذه النتائج أدلة قوية على قدرة SPL على تحسين الأداء في سياقات متنوعة، مما يبرز أهمية التطورات المستمرة في مجال التعلم المعزز المتعدد العملاء.