في عالم التعلم المعزز (Reinforcement Learning)، تشكّل القدرة على تمثيل المعرفة وتطوير استراتيجيات عبر مقاييس زمنية مختلفة أمرًا حيويًا. وقد أظهر إطار العمل المعروف باسم "خيارات-ناقد" (Option-Critic) قدرته على تعلم أفعال موسعة زمنياً، يُشار إليها كخيارات، بطريقة شاملة دون الاعتماد على النماذج.

ومع ذلك، ظلت إمكانية تنفيذ هذا الإطار محدودة بسبب تحديين رئيسيين: الأول هو اعتماد خيارات متعددة على سلوكيات متشابهة للغاية، والثاني هو انكماش مجموعة الخيارات ذات الصلة بالمهمة. هذه المشكلات لا تُعد فقط عائقًا أمام ضرورة استخدام التجريد الزمني، بل تؤثر أيضًا سلبًا على الأداء.

في ورقتنا البحثية، قمنا بمعالجة هذه الأمور من خلال تعلم مجموعة متنوعة من الخيارات. حيث أ Introduced مكافأة داخلية تعتمد على المعلومات لتعزيز مكافآت المهمة، بالإضافة إلى هدف جديد للإنهاء، بهدف تشجيع التنوع السلوكي في مجموعة الخيارات.

أثبتت نتائج تجاربنا قدرة منهجنا المقترح على تعلم الخيارات بشكل شامل عبر عدة مهام تحكم متقطعة ومستمرة، متفوقًا بشكل كبير على الأسلوب التقليدي. علاوة على ذلك، نعرض كيف أن نهجنا ينتج خيارات قوية، قابلة لإعادة الاستخدام، موثوقة، وقابلة للتفسير، بعكس ما يقدمه خيار-ناقد.