تعد عملية اختيار المتغيرات الأكثر ملاءمة لتمثيل الحالة من التحديات الأساسية في مجال التعلم المعزز (Reinforcement Learning). فهذه المتغيرات يجب أن تلتقط بكفاءة المعلومات اللازمة لاتخاذ قرارات مثلى. لتناول هذه المشكلة، قدم الباحثون معيار انتقال المعلومات الزائد (Transfer Entropy Redundancy Criterion - TERC)، وهو معيار يعتمد على نظرية المعلومات.

يعمل معيار TERC على تحديد ما إذا كان هناك
"انخفاض في المعلومات" (entropy transfer) من متغيرات الحالة القابلة للمراقبة إلى الأفعال خلال عملية التدريب. كما تم تطوير خوارزمية تستند إلى TERC، تستبعد بشكل موثوق المتغيرات التي لا تؤثر على سياسة الوكيل (agent policy) أثناء التعلم. هذا يؤدي إلى تقديم تمثيلات حالة مضغوطة، مما يقلل من وقت الاستدلال بنسبة تصل إلى 2.6 مرة.

تتميز هذه الطريقة بأنها تعتمد على السياسة، مما يجعلها غير متعلقة بالخوارزمية الأساسية المستخدمة في التعلم. إن الفوائد التي أثبتناها تظهر في كل من وقت إعادة التدريب ووقت الاستدلال على الحالة المخفضة، حيث تبرهن النتائج عن فعاليتها عبر ثلاث فئات مميزة من الخوارزميات، وهي: التعلم Q الجدولي (tabular Q-learning)، وممثل الممثل (Actor-Critic)، وتحسين السياسة القريب (Proximal Policy Optimization - PPO)، وذلك في مجموعة من البيئات.

علاوة على ذلك، لتسليط الضوء على الفروق بين المنهجية المقترحة وطرق اختيار الميزات الحالية، قدمنا سلسلة من التجارب المنضبطة على بيانات مصطنعة، ثم انتقلنا لتعميم النتائج على مهام اتخاذ القرار في العالم الحقيقي. كما تم تقديم تمثيل للمشكلة يتضمن نقل المعلومات من المتغيرات القابلة للمراقبة إلى الأفعال على شكل شبكات بايزي.

في ضوء هذه التطورات المثيرة، ما رأيكم في هذا الابتكار؟ شاركونا آراءكم في التعليقات!