في عالم الذكاء الاصطناعي، يُعد التعلم التعزيزي من خلال المكافآت البشرية (RLHF) حجر الزاوية في تحسين أداء النماذج اللغوية الضخمة (LLMs) وبناء نماذج التفكير المتطورة. إلا أن هذه الطريقة تعاني من حساسية شديدة تجاه الضوضاء الناجمة عن المكافآت غير الدقيقة أو المتسقة.

لكن ماذا لو كانت هناك طريقة لتصحيح هذه الضوضاء وتحسين الأداء؟

تقدم دراسة حديثة مفهومًا جديدًا يُدعى "تحسين السياسات النسبي للجماعات المصحح للضوضاء" (GRPO) و"GRPO بالطريقة الصحيحة" (Dr.GRPO)، حيث يُعتبر هذا الإطار مُبتكرًا من حيث تصحيح الأخطاء الناجمة عن مكافآت غير دقيقة. يتمحور هذا الإطار حول نمذجة الفساد المكافأاتي على هيئة ضوضاء برنولي، وهو ما يؤدي إلى تصحيح التعلم وتقديرات اتجاهات غير متحيزة.

تشير التحليلات النظرية إلى أن الأساليب المعتمدة على المجموعات تقلل بشكل جوهري من الضوضاء الفردية. بالإضافة إلى ذلك، تعزز استراتيجيتنا في التصحيح هذه المتانة. وفي التجارب العملية، لوحظت تحسينات ملحوظة في دقة أداء المهام الرياضية والمشفر، حيث حققنا زيادة تصل إلى 6.7 نقاط مئوية في دقة المهام الرياضية و1.5 نقطة في المهام البرمجية تحت ظروف نموذج المكافآت الواقعية.

يمزج هذا العمل بين تصحيح ضوضاء التسميات من التعلم تحت الإشراف وتقنيات التعلم التعزيزي الحديثة، مما يوفر رؤى نظرية قوية وخوارزمية عملية للتطبيقات في العالم الحقيقي. إذا كنت تعمل في مجال الذكاء الاصطناعي، فإن هذا التطور يفتح آفاق جديدة لتحسين الكفاءة والإنتاجية في نماذجك.