تشير الأبحاث الحديثة إلى أن الوكلاء المعززين (Reinforcement Learning Agents) يواجهون تحديات كبيرة في البيئات التي تتميز بالمكافآت النادرة وتتطلب تفكيراً طويل الأمد. ولتحسين كفاءة أخذ العينات، يُعتبر دمج المعرفة في عمليات التعلم واتخاذ القرار خطوة مميزة. في التعلم الهرمي القياسي (Hierarchical Reinforcement Learning)، تكون المعرفة مشفرة في شكل ثابت وغير قابل للتحديث، مثل الخيارات المعمارية، مما يجعلها ثابتة خلال فترة التعلم.

مع هذا النظام التقليدي، يصبح من غير العملي استخدام المعرفة المكتسبة تدريجياً خلال الاستكشاف قبل أن يتم اكتساب المعرفة الكافية حول البيئة، مما يؤدي إلى كفاءة ضعيفة في أخذ العينات. وهنا يأتي الابتكار، حيث تم اقتراح نموذج جديد يعرف بـ "التعلم الهرمي الرمزي-العصبي مع المعرفة المتزايدة (neurosymbolic HRL with Incremental Knowledge)".

هذا النموذج يقوم بتفعيل المكونات الرمزية عالية المستوى التي تقوم بالتخطيط الرمزي (Symbolic Planning)، مثل استخدام خوارزمية $D^*$، على تمثيل قابل للتحديث للمعرفة الحالية. بينما تتعلم الوحدات العصبية القابلة للتوجيه نحو الأهداف حركات حركية مشابهة بناءً على التجربة من خلال تشكيل المكافآت.

أظهرت التجارب المتعلقة بمهمات الملاحة أن دمج المعرفة المتزايدة يعزز بشكل كبير من كفاءة أخذ العينات. علاوة على ذلك، ولتنفيذ التخطيط الرمزي الأمثل بناءً على المعرفة السابقة حول العالم، تم تطوير خوارزمية بحث تُعرف بشجرة العالم العلائقي (Belief World Tree Search).

الشفرة المصدرية لهذه الأبحاث متاحة على رابط للشفرة. هذا الابتكار قد يفتح آفاقاً جديدة في تحسين أداء الوكلاء الذكيين في البيئات المعقدة. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.