في عالم التعلم المعزز غير المتصل (Offline Reinforcement Learning)، يُعتبر التشاؤم عنصرًا محوريًا لمكافحة تحيز التقدير المفرط. ولكن ماذا يحدث عندما يكون هذا التشاؤم مفرطًا؟ تشير الأبحاث الأخيرة إلى أن التشاؤم المفرط يمكن أن يؤدي إلى عقبات في أشكال معينة من التعميم.

يتناول هذا البحث موضوعًا مثيرًا للجدل، حيث أظهر الباحثون أن التعميم المثالي يعتمد ليس على كمية التشاؤم وإنما على الهيكل التشاؤمي الذي يحترم تناظر الحل الأمثل. وتقدم الدراسة حلًا جديدًا من خلال إثبات أن دالة القيمة التشاؤمية غير المتناظرة قد تؤدي إلى نتائج أسوأ من دالة القيمة المتناظرة، على الرغم من كونها أكثر تشاؤمًا.

عام واحد من هذه المعادلات هو هيكل البيانات المستخدم، حيث يؤثر تغطية مجموعة البيانات على الشكل الناتج. تتمثل الفكرة الآن في فرض دالة قيمة متناظرة، وهذا قد يكون تحديًا كبيرًا، ويتطلب استخدام تقنيات مثل زيادة البيانات (Data Augmentation).

تدعم النتائج النظرية المطروحة في الدراسة استخدام زيادة البيانات بشكل أكثر فعالية من خلال خسارة الاتساق أثناء استخراج السياسة، بدلاً من الطريقة الشائعة للتدريب على بيانات إضافية.

ولتأكيد ذلك، تم استخدام تقنيتي IQL وCQL على بيئة 'reacher' المتناظرة. تمثل هذه النتائج خطوة مهمة نحو الفهم الأفضل لتفاعلات التشاؤم والهيكل في عمليات التعلم المعزز غير المتصل، مما يمهد الطريق لتحسينات مستقبلية في النماذج والتطبيقات العملية.