تُعد النماذج العالمية (World Models) من أبرز التطورات في مجال التعلم المعزز بكفاءة العينة، حيث تجمع بين تعلم المعارف واستخدامها بطرق فعالة. ولكن، غالباً ما تبقى تحسينات كثيرة غير معلومة بسبب تعقيد هذه النماذج ومدى الجهد المعرفي المطلوب لتطبيق الابتكارات الجديدة. هنا تظهر أهمية الابتكار الأخير، Simulus، الذي يمكن أن يغير معالم هذا المجال.

استلهم فريق البحث من تجربة Rainbow التي أظهرت كيف يمكن تحسينات معروفة لنموذج التعزيز DQN أن تكمل بعضها البعض وتُدمج بشكل فعال. قاموا باستكشاف ما إذا كانت نفس المبادئ تنطبق أيضاً على وكالات النماذج العالمية، ليقدموا لنا Simulus، وهو وكيل نموذجي يعتمد على نظام رموز مرن يتيح تكامل عدة ميزات مبتكرة.

يتضمن Simulus أربع ميزات رئيسية:
1. **إطار ترميز مرن** يدعم التوليف العشوائي لموديلات الملاحظة والتفاعل.
2. **تحفيز داخلي** يهدف إلى تقليل عدم اليقين المعرفي.
3. **إعادة تشغيل نموذج العالم بناءً على الأولويات**، مما يزيد من كفاءة الاستخدام السيء للعينة.
4. **تصنيف منفصل للتنبؤ بالمكافآت والعوائد**، لتحسين الدقة في التنبؤ.

حقق Simulus كفاءة عينة مذهلة بدون الحاجة للتخطيط عبر ثلاثة معايير متنوعة: لعبة أتايري الكلاسيكية، التحكم المستمر في DMC، ونموذج Craftax الرمزي. ويظهر البحث أن التحفيز الداخلي أثبت فائدته حتى تحت قيود الاستخدام المحدودة للعينات، مما يسلط الضوء على قوة دمج هذه الميزات.

النتائج ظللت مثيرة، حيث أظهرت دراسات الإسقاط أن كل مكون يساهم بشكل فردي، بينما الجمع بين العناصر المختلفة يحقق مكاسب سينرجية.

للمهتمين، يمكنك الاطلاع على الشيفرة ووزن النموذج المتاحان علنًا على الرابط: [GitHub - Simulus](https://github.com/leor-c/Simulus). هل تعتقد أن Simulus سيحدث ثورة في مجالات التعلم الآلي؟ شاركونا آرائكم في التعليقات.