استكشاف نماذج العالم: تحقيق في أداء وكالات الذكاء الاصطناعي في لعبة بونغ

تعتبر نماذج العالم أحد العناصر الأساسية في أنظمة التعلم المعزز القائم على النماذج (MBRL)، لكنها نادراً ما تتم دراستها في عزلة. في هذا المقال، نُسلط الضوء على أداء خمسة نماذج وكالات في لعبة بونغ، وهي: DreamerV3، DIAMOND، TWISTER، Simulus، وSTORM.

بعد إعادة إنتاج عمليات التدريب ومطابقة الأداء المبلغ عنه، قمنا بتجميد النماذج المدربة وتقييمها من خلال التشخيص باستخدام خرج مغلق، حيث يتفاعل نموذج سياسي تم تدريبه بشكل منفصل مع كل نموذج مجمّد. وقد أظهرت النتائج أن جميع النماذج الخمسة تعاني من إخفاقات واضحة، مثل اختفاء الكرة، حركة غير صحيحة، وتفاعلات غير صحيحة بين الكرة والمضرب.

علاوةً على ذلك، قمنا بتقييم النماذج باستخدام التعلم المعزز دون صور (zero-shot MBRL)، حيث تم تدريب نموذج جديد تمامًا داخل نموذج العالم المجمد. وكانت النتائج مثيرة للقلق، حيث أظهر الأداء تراجعًا كبيرًا مقارنة بالتدريب الأصلي. على سبيل المثال، انخفض معدل عائد DreamerV3 من -5.5 إلى -20.9، مما يجعله قريبًا من الحد الأدنى لعائد بونغ البالغ -21.

نحن نفترض أن نقص النمذجة لمفاهيم حاسمة في اللعبة، مثل الكرة، قد يسهم في هذه الإخفاقات. لذلك، نقترح تقنية جديدة تسمى التنظيم المكاني الموجه بالتصور (CGSReg)، وهي خسارة إعادة بناء بكسل مساعدة تُطبق على مناطق المفاهيم المجزأة. وقد أظهرت التجارب أن CGSReg يُحسن من كلٍ من النتائج المغلقة والتعلم المعزز دون صور في نماذج DreamerV3، DIAMOND، وTWISTER. ومع ذلك، كانت التأثيرات متفاوتة عبر النماذج والمتغيرات التقييمية، مما يشير إلى أن CGSReg وحده لا يعالج جميع اختناقات نماذج العالم.