في عالم الذكاء الاصطناعي، يشكل تعلم التعزيز (Reinforcement Learning - RL) أحد الركائز الأساسية لرفع مستوى أداء وكلاء نماذج اللغة الضخمة (Large Language Models - LLM) من خلال تعزيز مهارات التفكير والتخطيط واستخدام الأدوات في البيئات التفاعلية. ومع ذلك، تواجه طرق تعلم التعزيز المُعتمدة على الوكلاء تحديات واضحة بسبب عائق الاستدلال القائم على السياسات، إذ عندما تتجاوز المهام الحدود الحالية لقدرة النموذج، تصبح المسارات الفعالة نادرة جداً وقد تتعرض عملية التدريب للفشل.

إليك الحل: قدمت تقنية التدخل في وقت التنفيذ (Rollout-Time Intervention - RTI)، التي تهدف إلى جذب المسارات الناجحة التي تتجاوز سعة الاستكشاف الطبيعية للسياسة. تعتمد RTI على الاستفادة من الأدلة الموجودة في جانب المكافآت، مثل معايير التقييم، خلال عملية التنفيذ لتحويل المسارات الخاطئة إلى مسارات ناجحة، مما يتيح إشارات تعلم فعالة للمهام التي نادراً ما تستطيع السياسة حلها بمفردها.

رغم أن المسارات الخاضعة للتدخل تعتبر بشكل جوهري خارج السياسة (Off-policy)، إلا أن النتائج تظهر قدرتها على توجيه تحسين السياسة بفعالية، عند تصفية المسارات ذات التحولات التوزيعية المفرطة. من خلال تجارب موسعة عبر خمس معايير تقييم، أثبتت RTI تفوقها المستمر على الأسس التقليدية لتعلم التعزيز، مما يجعل السياسة المدربة تتماشى مع أداء نماذج LLMs القوية المعاصرة وتجاوز حدود قدراتها الأصلية.

للمزيد من المعلومات، يمكنك الاطلاع على الكود المتاح على GitHub: https://github.com/[Alibaba-NLP/qqr]. ما رأيكم في هذه التقنية الجديدة؟ هل تعتقدون أنها ستغير مشهد الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات!