أصبحت التعلم المعزز (Reinforcement Learning) هو الأسلوب السائد لتحسين قدرات التفكير في نماذج اللغة الكبيرة (Large Language Models)، لكن هذا الأسلوب يتطلب تدريباً مكلفاً وبيانات دقيقة وإشارات مكافأة. جاء بحث حديث ليظهر أن أخذ عينات من توزيعات النماذج الأساسية في وقت الاختبار يمكن أن يستعيد جزءاً كبيراً من مكاسب التعلم المعزز، رغم أن الأساليب الحالية تعتمد فقط على احتمالات الطبقة النهائية وتتجاهل ديناميكيات الطبقات الداخلية.

وقد تم تقديم تقنية جديدة تُسمى Depth-Entropy Guided Sampling (DEGS) كطريقة خالية من التدريب للاستخدام في وقت الاختبار، حيث تستغل انهيار تنوع الطبقات كإشارة جودة ضمنية. أظهرت الدراسات أن النماذج التي تتمتع بقدرات تفكير قوية - بما في ذلك النسخ المدربة على التعلم المعزز - تتميز بسقوط متأخر واضح حيث يبقى تنوع الشفرة مرتفعاً حتى الطبقات الأعمق قبل التلاشي.

تم تعريف عمق انهيار لكل تسلسل $D(\mathbf{x})$ مع هدف مشترك يُعرف بالصورة $\pi(\mathbf{x}) \propto p(\mathbf{x})^\alpha \exp(\beta D(\mathbf{x}))$، الذي يجمع بين احتمال التسلسل وهيكل العمق-التنوع داخل إطار عمل أخذ عينات القوة الغربية (DEGS-MCMC).

عبر ثلاثة نماذج مفتوحة الوزن وأربعة معايير تفكير، أثبتت هذه الطريقة دقة غير مسبوقة وفعالية في الأداء، خصوصًا خارج النطاق الأساسي وعلى انفصالات أصعب، حيث ينقص احتمال الأبعاد إلا أنها حققت مكاسب كبيرة. بلغت طريقة DEGS أداءً مشابهًا لنموذج مرجعي تم تدريبه عندما يتعلق الأمر بالانفصالات الرياضية، لكنها تفوقت خارج النطاق على برهان GPQA لجميع النماذج الثلاثة، ودون الحاجة إلى تدريب أو نموذج مكافأة أو بيانات مصنفة.

إذا كنت تبحث عن حلول مبتكرة لتحسين نماذج اللغة الكبيرة، قد تكون تقنية DEGS هي المستقبل الذي تنتظره.