تعتبر مشاكل القرار طويلة الأفق من أكثر التحديات تعقيدًا في مجالات الذكاء الاصطناعي، حيث يجمع التلف التراكمي بين الإجراءات الجذابة محليًا والنتائج السلبية عالميًا. في مسعانا لفهم هذه الظواهر، نشير إلى نمطين من الفشل في استخدام أساليب تدرج السياسات (Policy Gradient) في هذه الفئة، ونستعرض طريقة تفكيك تفصل بينهما:

1. **الإكمال**: يشير بالأساس إلى بلوغ الأفق النهائي بدلاً من الخروج من خلال قيود ضمنية تصل إلى النهاية.
2. **الامتثال المثالي**: والذي يتطلب المطابقة مع مرجع البرمجة الديناميكية لفترة الإكمال.

من خلال استخدام خوارزمية PPO (Proximal Policy Optimization) مع عقوبة خفيفة خطية، يظهر أن منح الوصول إلى الأفق وحده يقلل من معدل الإكمال. حيث يؤدي توازن العقوبة إلى دفع نصيب النشاط المهيمن إلى الصفر. بالمقابل، فإن تقييد فضاء العمل مع توفير الوصول إلى الأفق يحقق الإكمال، ولكنه يترك فجوة في الامتثال المثالي تبلغ 0.271، نعود بها إلى الالتزام الجشع في المرحلة الأولى من أصل التلف.

قمنا بصياغة أربع توقعات قابلة للاختبار وقمنا بتقييمها في بيئتين تم تجهيزهم بشكل منفصل، وكلاهما يتشاركان في نفس الهيكل المجرد لكن يختلفان في النطاق، الأفق، مجموعة النشاط، وبيانات المعايرة. تغطي تلك البيئات مسلسل مهني يعتمد على البناء واستمرار مسيرة رياضية لنجم NBA. حيث أثبتت التوقعات الأربعة نفس النتائج النوعية.

تمت تلبية توقع عدم التغير مع الأفق في ثلاثة من الأربعة أفقيين المختبرين، مع وجود استثناء عند الأفق 15 يتماشى مع الحدود $H^*$، والتي تقع ضمن النطاق [6, 14] بالنسبة لبارامترات NBA.

إن فهم هذه الأساليب وتطبيقها يعد أمرًا حاسمًا لمواجهة التحديات المعقدة التي تطرأ في أنظمة الذكاء الاصطناعي. ما رأيكم في هذه الاستراتيجيات المتقدمة؟ شاركونا في التعليقات.