في عالم الذكاء الاصطناعي، أثبت التعلم المعزز (Reinforcement Learning) قوته في معالجة العديد من المشكلات، لكن ليس دائماً يسهل ضمان أدائه الجيد مع تغير ديناميكيات النظام. يعتمد الأداء بشكل كبير على الخبرة التجريبية للمستخدمين، خاصة في الخوارزميات التي تتبع بنية الناقد (Critic) والممثل (Actor).

تتمثل أهمية الناقد في الشبكة العصبية التي تعكس عملية التقريب والتحسين في خوارزميات التعلم المعزز. لذا، يساهم تحليل أداء الناقد في فهم كيفية عمل الخوارزمية بشكل أفضل.

في هذا السياق، طورت دراسة جديدة طريقة مبتكرة لتصور مشهد خسارة الناقد، بهدف دعم التفسير المنهجي لهذه الخوارزميات في مشكلات التحكم الديناميكي. يقوم الأسلوب المقترح ببناء مشهد خسارة عبر إسقاط مسارات معلمات الناقد المسجلة على فضاء خطي ذو أبعاد منخفضة، مما يساعد في تقييم خسارة الناقد باستخدام عينات حالة مرجعية ثابتة وأهداف الفرق الزمني.

هذا الأسلوب ينتج سطح خسارة ثلاثي الأبعاد إلى جانب مسار تحسين ثنائي الأبعاد، مما يحدد سلوك تعلم الناقد. بالإضافة إلى ذلك، تمت إضافة مؤشرات مشهد كمية ومؤشر أداء نظام مُنظم، مما يمكن من المقارنة المنهجية بين نتائج التدريب المختلفة.

تم عرض هذه الطريقة باستخدام خوارزمية البرمجة الديناميكية الهيورستية المعتمدة على العمل في مهام التحكم مثل التحكم في عربة القطب والتحكم في اتجاه المركبات الفضائية. كما أظهرت التحليلات المقارنة بين طرق الإسقاط ومرحلتي التدريب خصائص مشهد مميزة مرتبطة بالتقارب المستقر والتعلم غير المستقر.

تسمح الإطار المقترح بالتفسير النوعي والكمّي لسلوك تحسين الناقد في التعلم المعزز عبر الإنترنت، مما يوفر وسيلة فعّالة لفهم وتحسين أداء هذه الخوارزميات في بيئات ديناميكية.