في مجال الذكاء الاصطناعي، يتزايد اهتمام الباحثين بكيفية جعل النماذج أكثر قدرة على التعامل مع التغذية الراجعة البشرية، حتى وإن كانت غير مثالية. يعتمد التعلم المعزز من التغذية الراجعة الإنسانية (Reinforcement Learning from Human Feedback - RLHF) على تفضيلات البشر لتدريب نموذج مكافأة يمنح قيمًا عددية للاستجابات. ومع ذلك، ترتبط هذه القيم بمقارنات ثنائية، مما يعني أن عملية التعلم تعتمد على العلاقة المفترضة بين اختلافات المكافآت الكامنة والتفضيلات الملاحظة. يتم عادةً تمثيل هذه العلاقة باستخدام صيغة بولتزمان (Boltzmann formulation) حيث يتم استخدام معامل عقلانية (beta) لتحديد مدى اتساق التفضيلات مع اختلافات المكافآت.

في الواقع، غالبًا ما يتم اعتبار معامل العقلانية ثابتًا، مما يفترض أن جميع الملاحظات لها موثوقية متساوية، لكن التغذية الراجعة البشرية تتأثر بالانحيازات المعرفية (Cognitive Biases)، مما يؤدي إلى تحريفات منهجية في السلوك المكافئ في سياقات معينة. للتعامل مع هذه القضية، تتعامل الدراسات الجديدة مع مفهوم العقلانية كشيء يتغير وفقًا للسياق وموثوقية التعليقات.

يتم تقديم نهج جديد يقوم بضبط معامل العقلانية ديناميكيًا أثناء عملية التعلم من المكافآت. يستخدم هذا النهج نموذج اللغة الكبير كمدقق لتقييم احتمالية وجود انحيازات معرفية. تساعد هذه الطريقة في تقليل الأهمية النسبيه لمقارنات قد تعكس أحكامًا متحيزة أو غير موثوقة. كما أظهرت التجارب أن هذا النهج يمكنه تعلم نموذج أكثر عقلانية، حتى عند تكييفه على مجموعات بيانات تتمتع بتفضيلات متحيزة بشكل قوي.

هل تعتقد أن هذه التطورات ستغير الطريقة التي يتفاعل بها الذكاء الاصطناعي مع البشر؟ شاركونا آرائكم في التعليقات!