في عالم الذكاء الاصطناعي، أصبح التعلم المعزز مع المكافآت القابلة للتحقق (RLVR) وسيلة رئيسية لتعزيز قدرات reasoning لنماذج اللغة الضخمة (Large Language Models). يعتمد هذا النهج على افتراض أن المراجعين الذين يقومون بتقييم كل استجابة يتمتعون بدقة موثوقة.

ومع ذلك، تظهر في التطبيق العملي تحديات مثيرة. على سبيل المثال، يمكن للمراجعين القائمين على القواعد أن يرفضوا إجابات صحيحة قد تظهر بأشكال غير متوقعة، أو تقبل المزيد من البرامج الخاطئة، كما يمكن لنماذج اللغة أن تُقادت للموافقة على إجابات فارغة أو معادية.

قدمت دراسة شاملة مراجعة لـ58 دراسة حول كيفية قياس وتحليل وتخفيف مثل هذه الأخطاء. يناقش الباحثون أسئلة هامة مثل: ما هي الأخطاء التي يرتكبها المراجعون، وكيف تؤثر على عملية التعلم، وما هي الحلول الناجحة لمواجهة هذه الأخطاء، وكيف يمكن أن تمتد النتائج إلى مكافآت ذاتية التوليد.

تشير الأدلة إلى أن هيكل الخطأ يلعب دورًا أكثر أهمية من معدل حدوثه. فالأخطاء العشوائية تعرقل التعلم في الغالب، لكنها قد تؤدي أيضًا إلى انخفاض في الدقة النهائية عند احتضان ميزانية ثابتة أو تنظيم KL. بينما يمكن أن تؤدي الإيجابيات الزائفة التي يستطيع النظام التعلم لاستفزازها إلى تباطؤ أو انهيار، حتى مع معدل خطأ ابتدائي منخفض.

ينتقل النجاح في وظيفة التقييم من المراجع إلى جودة ما يتم فحصه وطريقة إنشائه، وليس فقط من نوعه. هذه الأخطاء تتغير مع تقدم السياسة، وقد تم اختبار معظم الحلول المقترحة ضد نوع واحد فقط من الأخطاء.

تقدم الدراسة مقارنات وجدول أعمال لمساعدة الباحثين في نتائجهم المستقبلية، مما يجعل العمل معهم أكثر تناغمًا ومقارنة.