هل يؤدي التعلم المعزز مع المكافآت القابلة للتحقق إلى تقليص آفاق التفكير؟ اكتشاف مفاتيح الانعكاس!

في عالم الذكاء الاصطناعي، تتغير المفاهيم بسرعة. ومن بين هذه المفاهيم، يظهر التعلم المعزز مع المكافآت القابلة للتحقق (RLVR) كأداة واعدة. ولكن ماذا عن آثار هذا النظام على فعالية النماذج المعتمدة؟

دراسة حديثة نُشرت على منصة arXiv تسلط الضوء على ظاهرة مثيرة تدعى "انعكاس Pass@k". على الرغم من أن التعلم المعزز مع المكافآت القابلة للتحقق يمكن أن يحسن الدقة في عينة واحدة، إلا أنه يُظهر سلوكًا غير متوقع عند محاولات التكرار. بعد تدريب النموذج، قد يتحقق من مشاكل أقل مقارنة بالنموذج الأساسي، خاصة عندما يتعلق الأمر بالمدخلات النادرة.

المشكلة تُركز بشكل خاص على "التحفيزات الحدودية" حيث تحتوي النماذج الأساسية على مسارات صحيحة نادرة يمكن استردادها من خلال العينات، لكنها نادرة جدًا بحيث لا يمكن الاعتماد عليها في مجموعات التدوير النهائية لـ RLVR. في هذه الدراسة، يُقترح أن هناك حاجة إلى إطار تشخيصي لفهم الفشل الناتج عن نقص الأدلة، حيث تختفي المسارات الصحيحة النادرة قبل تفعيل العينات.

لذا، ما هو الحل؟ الباحثون يقدمون مفهوم "الترسيخ القائم على الحل" (Per-Problem Base Anchoring - PBA). ينطوي هذا النهج البسيط على تنويع التحفيزات مع أدلة صحيحة كافية من النموذج الأساسي، مما يحسن الأداء عبر مختلف التجارب.

خلال الدراسة، تم إجراء اختبار باستخدام 3000 مدخل للتحقق من المخاطر المرتبطة بـ Pass@k، حيث أظهرت النتائج أن PBA يحافظ على المسارات الإيجابية النادرة بنسبة أكبر مقارنةً بأسلوب GRPO المعتاد.

إن التحدي الذي يواجه هذا النوع من التعلم هو كيفية تحسين التفكير بعد التدريب، بما في ذلك تحديد التحفيزات الأكثر أمانًا لتحسينها. هذه الاكتشافات تفتح الباب أمام نماذج أكثر فعالية وقدرة في فهم المشكلات المعقدة.