تواجه عمليات التعلم المعزز (Reinforcement Learning) تحديات جذرية عند معالجة المهام التي تتطلب أهدافًا بعيدة الزمن، وخاصةً عندما تكون المكافآت نادرة. على الرغم من وجود طرق هرمية (Hierarchical Methods) تعتمد على الرسم البياني (Graph-based Methods) كحلول جزئية، إلا أن اعتمادها على تقنيات إعادة التسمية في الماضي (Hindsight Relabeling) لا ينجح دائمًا في تصحيح عدم القابلية لتحقيق الأهداف الفرعية، مما يؤدي إلى فعالية التخطيط على مستوى عالٍ منخفضة.

لتجاوز هذه العوائق، تم اقتراح إطار عمل جديد يُعرف بتنفيذ الأهداف الفرعية بدقة (Strict Subgoal Execution - SSE). يعتمد هذا الإطار على التكنولوجيا الرسومية، حيث يتضمن تقنية استرجاع التجارب الحدودية (Frontier Experience Replay - FER) لتفريق الأهداف الفرعية غير القابلة للتحقيق عن الأهداف المسموح بها، مما يسهل اتخاذ القرارات على مستوى عالٍ.

تقوم تقنية FER بتحديد الحدود القابلة للوصول باستخدام تحولات الفشل والنجاح الجزئي، مما يساعد في التعرف على الأهداف الفرعية غير الموثوقة، وزيادة موثوقية الأهداف، وتقليل القرارات غير الضرورية على المستوى العالي. بالإضافة إلى ذلك، يوفر نهج SSE سياسة استكشاف مفصولة لتغطية المناطق غير المكتشفة من مساحة الأهداف، ويستخدم تحسين المسارات (Path Refinement) لضبط تكاليف الحواف استنادًا إلى الفشل الملحوظ على المستوى المنخفض.

أظهرت النتائج التجريبية عبر معايير متعددة الأفق الطويلة أن SSE يتفوق باستمرار على الطرق الحالية الموجهة نحو الأهداف والهرمية من حيث الكفاءة ونسبة النجاح. يمكنكم الاطلاع على الشيفرة المصدرية المستخدمة في هذا البحث من خلال تجربة SSE.