في خطوة جديدة تهدف إلى تعزيز فعالية أساليب التعلم المعزز (Reinforcement Learning)، يقدم الباحثون تقنية مبتكرة تُعرف بـ GRPODropout. تكمن إشكالية هذه التقنيات التقليدية، كطريقة GRPO، في انهيار تنوع السياسات (policy entropy collapse)، مما يؤدي إلى ضعف الاستكشاف والحد من تحسين الأداء. قد تتعامل الحلول المتاحة مع هذه القضية من خلال تعديلات على مستوى الخوارزميات، مثل تعديل المكافآت أو تنظيم الانتروبيا، أو إعادة وزن الرموز.

لكننا الآن نشهد توجهًا جديدًا يتمثل في كيفية تغيير العمليات المستخدمة في التحديثات. فقد أظهرت الدراسات أن بعض المحاكاة لا تُسهم في تحسين العملية التعلمية. لذلك، قام الباحثون بتطوير استراتيجية بسيطة في GRPODropout تقوم بإزالة عدد قليل من المحاكاة ذات الاحتمالية العالية قبل التحديثات القياسية، مما يعيد توزيع مزايا الأداء.

اعتمادًا على تحليل نظري مفصل، يُمكن لهذه الطريقة أن تُحسن الأداء دون زيادة الحمل الحسابي، حيث أثبتت التجارب العملية دقة أعلى مقارنة بالطريقة الأصلية، فضلاً عن زيادة تنوع العوامل المستخدمة.

تُظهر النتائج أنه من الممكن أن تتحسن النتائج من خلال تقليل عدد المحاكاة المشاركة، مما يُثبت فعالية الشعار القائل: "الأقل هو الأكثر".

للاستزادة، يمكن الاطلاع على الكود المدعوم لهذه الدراسة على رابط الكود.