في عالم التعلم المعزز (Reinforcement Learning) وخاصةً فيما يتعلق بتدريب نماذج اللغات الضخمة (Large Language Models) بعد مرحلة التدريب، تُطرح خيارات تصميمية أساسية. أيها يجب استخدامه: ناقد متعلم كمرجع لتحسين السياسة أم البدائل الخالية من الناقد؟ في نظرية التعلم التقليدية، تُفضل الأساليب المعتمدة على الناقد، مثل خوارزمية PPO المُعروفة بقدرتها على تقليل التباين. لكن من جهة أخرى، شهدت البدائل الخالية من الناقد مثل GRPO قبولاً واسعاً بسبب بساطتها وكفاءتها التنافسية.

ومع ذلك، في إعدادات المكافآت النادرة، يمكن أن يؤدي استخدام ناقد متعلم إلى إدخال ضوضاء تقديرية تفوق الإشارة الفعلية، مما يزيد من تباين المزايا بدلاً من تقليلها. هنا يأتي دور الابتكار الجديد: تحسين سياسة التباين المفسر (Explained Variance Policy Optimization - EVPO). من خلال معالجة اختيار الأساس كمسألة تصفية كالمان (Kalman Filtering)، نجح الباحثون في توحيد خوارزمية PPO وGRPO كطرفين متطرفين من تحسين كالمان، ليتم تقديم أسلوب يدعم التكيف ويراقب مستوى تباين التقدير في كل خطوة تدريب.

تتميز EVPO بالقدرة على التحول بين استخدام الناقد وتقدير متوسط الدفعة (Batch Mean Advantage) بناءً على المعطيات المتوفرة، مما يضمن تحقيق أفضل النتائج دون زيادة التباين في كل خطوة. وقد أثبتت الاختبارات والأبحاث أن EVPO تتفوق باستمرار على خوارزميات PPO وGRPO في مهام متنوعة تمتد من التحكم التقليدي إلى التدخل الذاتي والتفكير الرياضي.

ولعل هذه الإبتكارات تفتح بابًا جديدًا لتحسين أساليب التعلم المعزز، مما يبرز أهمية البحث المستمر في كيفية تعزيز أداء الآلات الذكية.