في الآونة الأخيرة، تم تقديم تقنية جديدة تدعى PEBS (تقليص بايزي الشامل لكل مُعَيَّن) والتي تُحدث ثورة في مجال نماذج المكافآت المستخدمة في التعلم المعزز من تعليقات البشر (RLHF). يعمل هذا النموذج على معالجة تفضيلات آلاف المقيّمين وتقليل الأخطاء في نماذج المكافآت بشكل كبير.

تعتبر نماذج المكافآت التقليدية متعلّقة بتقييمات عالمية واحدة، مما قد يؤدي إلى تجاهل التباينات المهمة بين تقييمات كل مُعَيَّن. هنا يأتي دور PEBS الذي يقدم تقدير تقليص بايزي مخصص. هذه الطريقة تُطبق تقدير المعايرة المخصصة لكل مُعَيَّن بناءً على مجموعة من تقييماته، مما يسهم في تحسين الدقة.

تم تقييم نتائج PEBS على مجموعة بيانات PRISM، حيث أظهرت هذه التقنية تقليلاً في خطأ الجذر التربيعي المتوسط (RMSE) بنسبة 8.58% مقارنة بالخط الأساسي، مما يُظهر مدى فاعلية هذا النهج. ومن الجدير بالذكر أنها أثبتت فعالية مماثلة عندما تم اختبارها على تقييمات PluriHarms، بتحقيق تقليل في RMSE بنسبة 9.66%.

تعمل تقنية PEBS كوحدة تقدير مغلقة بشكل دائم بعد التعديل، حيث تعزز النماذج دون الحاجة إلى إعادة تدريبها مجددًا. تُعتبر هذه الخطوة مهمة للغاية، إذ تُحافظ على نموذج المكافآت الأساسي مع تحسين دقة التقديرات الخاصة بكل مُعَيَّن.

إن PEBS تمثل بداية جديدة في تصميم نماذج المكافآت، حيث تضع التركيز على دقة التقدير الشخصي لأهمية تقييمات كل مستخدم. سيكون لها تأثير عميق على مجالات متعددة، بما في ذلك الذكاء الاصطناعي والأبحاث المستقبلية. كيف ترى مستقبل نماذج المكافآت في تفاعل الإنسان مع الذكاء الاصطناعي؟ اجعل رأيك يُسمع في التعليقات!