في عالم الذكاء الاصطناعي، يواجه الباحثون تحديات مستمرة في مجال التعلم المعزز، حيث تهدف الأنظمة إلى اكتساب مهارات جديدة مع الحفاظ على ما تعلمته في السابق. ومع ذلك، كانت الطرق التقليدية تعتمد على أساليب بلا نماذج (model-free) واستخدام Buffer للتخزين المؤقت، مما يؤدي إلى مواجهة صعوبات كبيرة في التوسع واستخدام الذاكرة. هنا تأتي تقنية ARROW (Augmented Replay for RObust World models) لتحدث ثورة حقيقية، مستلهمة من عمل الدماغ البشري الذي يُعيد تجربة الأحداث إلى نموذج محاكاة العالم بدلاً من السياسات المباشرة.

تعتبر ARROW خوارزمية تعلم معزز قائمة على النموذج، تمثل توسعة للإصدار DreamerV3، وتتضمن Buffer للتخزين المؤقت يتمتع بكفاءة عالية من حيث الذاكرة ومتوافق مع التوزيعات. على عكس Buffers التقليدية ذات الحجم الثابت، فإن ARROW تحتفظ باثنين من Buffers المتكاملة: Buffer قصير الأجل لتجارب حديثة وBuffer طويل الأجل يحافظ على تنوع المهام من خلال تعليمات أخذ عينات ذكية.

قمنا بتقييم أداء ARROW في بيئتين معقدتين للتعلم المستمر: الأولى تتمثل في المهام التي لا تمتلك هيكلًا مشتركًا، مثل ألعاب Atari، والثانية تتعلق بالمهام التي يمكن فيها نقل المعرفة، مثل تغييرات Procgen CoinRun. وأسفرت النتائج عن تجاوز ARROW بشكل ملحوظ لبقية الأساليب المعتمدة على النماذج التقليدية، حيث أظهرت انخفاضًا كبيرًا في النسيان في المهام دون هيكل مشترك، بينما احتفظت بأداء مشابه في نقل المعرفة.

هذه النتائج تسلط الضوء على الإمكانيات الكبيرة للتعلم المعزز القائم على النموذج والأساليب المستوحاة من البيولوجيا، مما يفتح آفاقًا جديدة للبحوث المستقبلية في هذا المجال.