اكتشافات ثورية في تحسين التعلم المعزز مع نماذج اللغات الضخمة!

الشائعات حول نماذج اللغات الضخمة (Large Language Models) ليست جديدة، لكن دراسة حديثة تسلط الضوء على كيفية تحسين استخدام هذه النماذج في التعلم المعزز الجماعي (Cooperative Multi-Agent Reinforcement Learning). في حين أن هذه النماذج توفر واجهة طبيعية لترجمة الأهداف البشرية إلى إشارات مكافأة، فقد تبين أن ديناميات التدريب المرتبطة بهذا التكامل لا تزال غير مفهومة بالكامل.

أظهرت الدراسة أن تحديث أوزان المكافآت المعتمدة على نماذج اللغات الضخمة أثناء التدريب خارج السياسة (Off-Policy) يمكن أن يتعارض مع فرضية الثبات في تشكيل المكافآت القائم على الإمكانية (Potential-Based Reward Shaping)، مما يؤدي إلى تلوث في ذاكرة إعادة التجربة (Experience Replay Buffer). وهذا يعني أن التجارب المحفوظة تحمل علامات مكافآت تحسب على أوزان قديمة، مما يسبب فشلًا يعتمد على النظام أو الوضع الذي تعمل فيه.

لتجنب هذه المشكلات، اقترح الباحثون استراتيجيتين لتحسين الاستقرار أثناء التدريب:
1. **جدول التجميد القائم على المرحلة (Phase-Based Freeze Schedule)**: يهدف إلى فرض ثابتية صارمة خلال مراحل التدريب.
2. **تنعيم المتوسط المتحرك الأسي (Exponential Moving Average)**: يمنع انزلاق الأوزان في كل حلقة.

تم تقييم هذه الاستراتيجيات عبر ثلاث بيئات تعاونية وخمسة توزيعات عشوائية باستخدام نموذج QMIX، مما أدى إلى إنشاء تصنيف ثلاثي للممارسات. في التجربة الأولى، حيث كان الأساس يعمل بشكل جيد مع نسبة نجاح 74.4%، أدت الاستراتيجيات المقترحة إلى زيادة النجاح إلى 86.7%، بينما أدت التحديثات الديناميكية الناتجة عن إغفال الاستقرار إلى انهيار الأداء إلى 15.2%.

تظهر النتائج أن وجود ثابت في إشارات المكافأة هو ضرورة تصميمية وأيضًا أن وضع النظام يمكن أن يكون predictor عمليًا للتنبؤ بشأن ما إذا كان تحسين نماذج اللغات الضخمة سيساعد أو يضر.