تشير الأبحاث الحديثة في مجال التعلم المعزز متعدد الوكلاء (Multi-Agent Reinforcement Learning) إلى أن الاعتماد على نموذج لغوي واحد كبير لمحاكاة تصرفات المستخدمين قد لا يكون الطريقة المثلى. في الواقع، أظهرت الدراسة أن هذه الطريقة تعاني من ما يعرف بانهيار المحاكيات (Simulator Collapse)، مما يؤدي إلى عدم قدرة النموذج على التعميم بشكل جيد.

ما يحدث هو أن النموذج اللغوي، عندما يتكرر استخدامه بشكل متواصل، يبدأ في تطوير استراتيجيات ضيقة تستغل الأنماط السائدة في البيانات، مما يؤدي في النهاية إلى ضعف الأداء عند التعامل مع محاكيات جديدة أو مستخدمين حقيقيين. قدم الباحثون في هذه الدراسة تحليلاً نظريًا لهذا الانهيار، وطرحوا حلين تكميليين لمعالجته: أحدهما يتعلق بوقت الاستنتاج وآخر بوقت التدريب.

الحل الأول، المسمى "عينات مُعَبَّرَة" (Verbalized Sampling)، يعمل على توسيع سلوك المحاكيات من خلال أخذ عينات من توزع الاستجابات اللفظية، مما يقلل من خطر الانهيار. أما الحل الثاني، "التدريب المُشترك" (Co-Training)، فيتعلق بإجراء تحسين مشترك للنموذج ضد مجموعة من المحاكيات القابلة للتدريب، مما يمنع النموذج من التكيف مع نمط محاكاة واحد.

تجارب الأداء أظهرت أن الحل "عينات مُعَبَّرَة" تحسن النجاح في اختبارات متعددة الجولات بنسبة تصل إلى 9% مقارنةً بالتعلم المعزز باستخدام محاكي وحيد، بينما "التدريب المُشترك" زاد من المكاسب إلى 14%. كما أظهرت الدراسات البشرية تحسنًا مشابهًا عند التعامل مع مستخدمين حقيقيين.

هذه الحلول الجديدة لا تعزز فقط القدرة على التعميم، بل أيضًا تنوع السياسات الذي يتعرض للانهيار في نموذج المحاكاة الواحد. ومن أجل دعم الأبحاث المستقبلية، تم إصدار الإطار المفتوح "SCOPE"، الذي يتيح تطبيق "التدريب المشترك" في التعلم المعزز متعدد الوكلاء بشكل موسع.

تشير نتائج هذه الدراسة إلى أن تنوع بيئة التدريب، وليس فقط السياسات المستخدمة، هو عنصر حيوي لتحقيق التعميم في بيئات العالم الحقيقي.