في عالم الذكاء الاصطناعي، حيث تشتد المنافسة لتطوير نماذج لغوية أكثر ذكاءً وفعالية، يأتي ابتكار R²PO ليحدث تحولًا جذريًا في كيفية التعامل مع التعلم المعزز (Reinforcement Learning) في نماذج اللغات الضخمة (Large Language Models).

تتأسس مشكلة تقليدية على افتراض خاطئ؛ وهو أن سياسة توليد مسارات التدريب يجب أن تتوافق مع تلك التي تنتج استجابات الاستدلال. ويظهر البحث أن هذا التقدير يجرّ التعلم نحو تحيزات غير مرغوب فيها.

باستخدام R²PO، الذي يعني تحسين سياسة التمرير المتبقي، تم إدخال خوارزمية قوية تمكن من فصل مسارات التدريب عن استجابات الاستدلال. يضمن ذلك تحسين الاستكشاف في مرحلة التدريب دون أن يؤثر على دقة النتائج عند الاستدلال.

أظهرت التجارب دقة متزايدة بمقدار 3.4% في مجموعة بيانات MATH-500 و1.3% في APPS، مع تحقيق تنوع أكبر في النتائج وتقليل الانحياز في طول الجمل الناتجة.

يمكن الاطلاع على الشيفرة المصدرية لهذه التقنية الرائدة على GitHub.

ما رأيكم في هذا التطور المثير للمجال؟ شاركونا في تعليقاتكم!