مع تزايد استخدام النماذج اللغوية الكبيرة (Large Language Models)، بدأت المخاوف تتزايد بشأن نقص تنوع المخرجات الناتجة عنها، وهي ظاهرة تعرف بانهيار الوضعية (mode collapse). عمل بحثي حديث لفريق من الباحثين، ومن بينهم دوسي وهاوسر (2024) وبيسبي وآخرون (2024) وشي وآخرون (2026)، استعرض هذه القضية.

توصل الباحثون إلى أن تكرار المخرجات يعتمد بشكل كبير على نوع النموذج والبيانات المستخدمة، حيث أن تعديل البيانات بشكل دقيق (Supervised Fine-Tuning) يمكن أن يعزز تنوع نتائج النموذج. وقد أجروا دراسات كمية لقياس احتمالية تداخل ردود الفعل الناتجة من نفس الموجه الثابت (fixed prompt) ومدى تشابهها. من خلال نموذج تحليل متقدم، تم توضيح أن التعديل ليس موجهًا دائماً نحو انهيار الوضعية، ولكن يمكن أن يؤدي إما إلى نقص في التنوع أو زيادته، اعتمادًا على مجموعة البيانات والنموذج المحدد المستخدم.

في التجارب التي أجروها، استخدموا نماذج ترانسفورمرز الصغيرة على لغات صناعية، وأربعة نماذج لغوية كبيرة تم تدريبها على استطلاعات بشرية، بالإضافة إلى بياناتcoded solutions للبرمجة. أظهرت النتائج أن زيادة البيانات المستهدفة تساعد في تعزيز تنوع النموذج ليصبح أقرب إلى مستوى تنوع البشر، مما يعزز من نظرية الباحثين حول إمكانية تصحيح تباين المخرجات. فعلى ما يبدو، أن مشكلة تكرار النتائج يمكن أن تنشأ من أخطاء في العينة وتنقص مع تحسين التعديل لتحقيق أفضل توزيع مستهدف.

لقد أثبت هذا العمل الجديد أهمية الجهد المستمر في تحسين النماذج اللغوية الكبيرة وتجاوز الصعوبات المرتبطة بانخفاض تنوع النتائج، مما يعد خطوة محورية نحو تحقيق نماذج أكثر دقة وذكاءً.