تدرب مثل الأبطال: إنتاج تغذية راجعة مضادة في الفضاء الكامن لتحسين أداء اللاعبين

شهدت الآونة الأخيرة تقدمًا ملحوظًا في مجال التعلم التعزيزي (Reinforcement Learning)، حيث تمكن العلماء من تطوير وكلاء (Agents) يتفوقون على البشر في مجموعة واسعة من الألعاب التنافسية. ومع ذلك، فإن الغالبية العظمى من الأبحاث المركزة حتى الآن كانت تهدف إلى هزيمة اللاعبين البشر، مما ترك فجوة هامة في إنشاء حلول نموذجية لتحسين أداء هؤلاء اللاعبين.

على عكس ألعاب مثل الشطرنج وGo، التي أصبحت فيها تقنيات الذكاء الاصطناعي جزءًا لا يتجزأ من تدريب اللاعبين، تفتقر ألعاب الاستراتيجية في الوقت الحقيقي (Real-time Strategy Games) إلى أطر عمل دقيقة لترجمة المعرفة المتخصصة إلى تغذية راجعة فعلية. لذا، يقدم الباحثون الإطار الجديد المعروف باسم 'خرائط الأداء الكامنة' (Latent Maps of Performance) الذي يركز على إنتاج مسارات مضادة لفهم كيفية تحسين أداء اللاعبين.

استنادًا إلى بيانات لعبة StarCraft II، يهدف هذا الإطار إلى نمذجة تحسين أداء اللاعبين كوسيلة حسابية ضمن فضاء تمثيلي تم اكتسابه من خلال نموذج يعرف باسم 'المستخرج الموجه' (Guided Variational Autoencoder) الذي تم تدريبه على 23,305 إعادة تشغيل للمباريات الاحترافية.

يتضمن هذا البحث أربع استراتيجيات للتنقل تم التحقق منها على بيانات غير متوزعة، بما في ذلك التحليل الخطي (Linear Interpolation) والنقل الأمثل التكراري (Iterative Optimal Transport) وتصعيد الدرجات المعتمد على الكثافة (Density-Regularized Gradient Ascent) ومواءمة التدفق العصبي (Neural Flow Matching). تم تصميم كل منها لتوليد مسارات تحسين متعددة المراحل تبقى مرتبطة بسلوك الخبراء الملاحظ، بينما تدفع بملف اللاعب نحو تكوينات فائزة.

يتم استخراج التغذية الراجعة على مستويات متعددة لدعم اللاعبين في مراحل تحسينهم المختلفة. وفي الختام، يتم تسليط الضوء على وجود تبادل بين طرق العثور على المسار، وآمال الباحثين في أن تركز بحوث المستقبل على تطوير حلول نماذج لتحسين أداء اللاعبين.