في السنوات الأخيرة، ظهر مجال تعلم التعزيز من ردود الفعل البشرية (Reinforcement Learning from Human Feedback - RLHF) كإحدى أكثر التقنيات التي تعزز من توافق النماذج التوليدية مع تفضيلات البشر. ومع ذلك، لا تزال تطبيقات RLHF على نماذج الانتشار تواجه تحديًا كبيرًا يتمثل في عدم كفاءة استخدام ردود الفعل، حيث تتطلب الطرق الحالية كميات كبيرة من تقييمات البشر أو نماذج المكافآت، الأمر الذي يُقلل من عمليتها في الإعدادات الواقعية.

في ورقة بحثية جديدة، يُقترح تقديم استراتيجيتين تكملان بعضهما البعض لتعزيز كفاءة استخدام ردود الفعل في تعلم نماذج الانتشار بينما تحافظ في الوقت نفسه على القدرة على التعميم مع المطالبات غير المرئية. لاحظ الباحثون أن معلومات المكافأة في المسارات الانتشارية ليست موزعة بالتساوي؛ إذ لا تسهم جميع خطوات إزالة الضوضاء أو المسارات بالتساوي في التعلم من إشارات المكافأة.

لذا، من خلال التركيز على خطوات ومراحل التعليم الأكثر معلومات، حصل الباحثون على تحديثات تدرجية أكثر فعالية. الاستراتيجية الأولى تتضمن تقديم خطة وزن لكل خطوة، بحيث يتم إعادة تقييم خطوات إزالة الضوضاء خلال تحسين السياسة. تُرتبط هذه الأوزان نظريًا بخصائص التقارب المثلى لتحسين سياسة القرب (Proximal Policy Optimization - PPO) وتم تقدير الاتجاه الناتج من الأوزان تجريبيًا.

أما الاستراتيجية الثانية، فتتضمن آلية إعادة تشغيل ت prioritizes المسارات المعلوماتية، مما يمكّن النموذج من إعادة استخدام العينات السابقة بدلاً من الطلب المتكرر لمكافآت جديدة.

تظهر نتائج البحث أن هذه الاستراتيجيات المحسنّة تُحسن من كفاءة استخدام ردود الفعل بشكل كبير؛ حيث تحقق طرقهم الجديدة زيادة تصل إلى 6 مرات في كفاءة العينات مقارنة بالأساليب المُعتمَدة على نطاق واسع.