في عالم تعلم الآلة، تظل خيارات السياسة وقواعد التحديث مترابطة بشكل مؤثر، حيث يمكن أن تؤدي القرارات المتعلقة بهذا المجال إلى تحسينات كبيرة في الأداء. تتمثل التحديات الرئيسية في استخدام السياسات الغاوسية، التي على الرغم من سرعتها وسهولة معاملتها، إلا أنها تعاني من قلة الكفاءة في التوزيعات متعددة الأنماط.

من جهة أخرى، تقدم السياسات الجينية إمكانيات تعبير أكبر، ولكنها غالبًا ما تتطلب أخذ عينات تكرارية أو تفتقر إلى تقديرات موثوقة للاعتدال (Entropy). في هذا السياق، يمكن أن تُعتبر تحسين السياسات بطريقة SAC كعملية للحد من تباين KL، حيث تعمل على تعديل السياسة نحو توزيع بولتزمان قائم على القيمة. بينما يُعتبر الانحدار المرآوي (Mirror Descent) طريقة لتنظيم كل تحديث ضد السياسة السابقة.

من خلال دمج اعتدال الانتروبيا مع قيد الانحدار المرآوي، نفتح أفقا جديدا للبحث عن السياسات العشوائية للتدفقات المتوسطة (Stochastic MeanFlow Policies - SMFP). هذه السياسات تستخدم تحويلات تدفق متوسط (MeanFlow Transformation) لتكتشف أفعالًا جديدة عبر ضوضاء غاوسية، مما يتيح قياسًا معتدلاً للاعتدال ويسمح بتدريب السياسات ضمن إطار موحد يهدف إلى تحسين الاستكشاف والاستقرار.

لقد تحققنا من فعالية SMFP عبر عدد من المعايير، حيث أثبتت التجارب في سبع اختبارات MuJoCo أن هذه السياسات تحقق تحسينًا ملحوظًا مقارنة بالأسس الغاوسية والجينية، مع الحفاظ على كفاءة الاستدلال من خطوة واحدة. عُدّ هذا التطور خطوة تقدم بارزة تفتح الأبواب لمزيد من الابتكارات في مجال تعلم التعزيز.