في عالم التعلم المعزز متعدد الوكلاء (Multi-Agent Reinforcement Learning - MARL)، يتعين على الوكلاء العمل معًا لتنفيذ مهامهم وتحقيق الأهداف المشتركة. ولكن كيف يمكن تحسين التنسيق بين هؤلاء الوكلاء؟

تظهر الأبحاث أن تنوع الأنماط السلوكية يعد مؤشراً حاسماً لفعالية هذا التنسيق. يُمكن أن يؤدي التنوع السلوكي إلى تخصص الأدوار وتعزيز سلوكيات التعاون، لكن تحديد المستوى المناسب من هذا التنوع يعتمد بشكل كبير على السياق والمهام، وقد يكون مكلفًا في التعديل.

لذلك، نقدم لكم هنا منهجية جديدة تُعرف باسم التحكُم بالتنوع المتكيف (Adaptive Diversity Control - ADiCo)، وهي إطار عمل يعتمد على زمنين مختلفين لتعديل التنوع السلوكي أثناء التدريب. على المقياس الزمني السريع، يقوم نظام تنوع التحكم (Diversity Control - DiCo) بتنظيم تنوع النظام نحو قيمة مستهدفة. وعلى المقياس الزمني البطيء، يقوم جهاز التحكم في البحث عن القيم القصوى (Extremum Seeking Controller - ESC) بضبط هذه القيمة المستهدفة باستخدام متوسط العوائد الحلقية، دون الحاجة إلى نموذج محدد أو تدرج تحليلي لنظام التنوع والأداء.

لقد قمنا بتقييم (ADiCo) على ستة تكوينات مختلفة عبر مهمتين تعاونية في MARL، حيث يحتفظ بمستويات تنوع مناسبة: انخفاض التنوع عندما تكون السياسات المتجانسة مفيدة، وزيادة التنوع عندما تتطلب السياسات غير المتجانسة ذلك. توضح نتائج التجارب أن (ADiCo) يحقق أداءً متساويًا أو يتفوق على أداء نظام (DiCo) الذي يعتمد على تحسين التنوع و(Unconstrained DiCo) الذي يُسمح له بالتنوع دون ضبط.

هذا الابتكار يوفر منهجًا منهجيًا بديلًا لتحديد أهداف التنوع الخاصة بالمهمة، مما يساهم في تحسين التنسيق بين الوكلاء في مهام التعلم المعزز. ماذا تنتظر؟ استعد للاطلاع على مزيد من التطورات في هذا المجال المثير!