في عالم الذكاء الاصطناعي، تعتبر استراتيجيات تحسين السياسات من الأمور الحيوية لتحسين أداء النماذج. أحدث الأبحاث في هذا المجال تقترح تقنية جديدة تُعرف باسم Output Reset (OR) التي قد تكون البديل الذي نحتاجه للتغلب على تحديات الأساليب التقليدية.

تكرار استخدام التحسينات التقليدية مثل PPO وGRPO غالبًا ما يتعرض لصعوبات نتيجة التغيرات المفاجئة في مشتق الهدف الاسمي، مما يجعل عملية التعليم أقل فعالية. لكن مع ظهور تقنية OR، تم تقديم أسلوب انسيابي واحد لجعل عملية التعليم أكثر سلاسة.

يتمثل أساس فكرة OR في استبدال جزء السياسة المقيد بخسارة مربعة في الفضاء النسبي لنسبة السجل الخاصة بالتوكنات. هذا يعني أن توجيه التحديث يعتمد على إشارة الميزة، مما يعزز من دقة النتائج الشهيرة.

عند إجراء مقارنة بين PPO مع مقاطع تقليدية و PPO-OR تحت تقدير الميزة العامة (GAE)، أظهرت النتائج أن PPO-OR سجلت نتيجة متوسطة خلال وقت التدريب تزيد بمقدار 0.305 عن الطريقة التقليدية، بالإضافة إلى شعور أكبر بالاستقرار بين المحاولات المختلفة.

بينما، عند مقارنة GRPO بتكنولوجيات GRPO-OR، وجدت أن GRPO-OR لا تقدم نتيجة أعلى في المتوسط، لكن تعرض سلوكًا أكثر تأثيرًا من حيث الانحدار القليل ووجود القيم المتبقية القريبة من الصفر.

تتضمن هذه الدراسة استنتاجات مثيرة حول طريقة OR وتأثيرها على سلوكيات تحسين النماذج، وتشدد على ضرورة المزيد من البحث لقياس أدائها على نتائج تفضيل البشر، مما يحفز الأسئلة حول مدى تأثير تأثير المجموعات الأكبر على النتائج.