في عالم نماذج اللغة، تعتبر نماذج اللغة الانتشارية (Diffusion Large Language Models) من التطورات المثيرة التي تكسر القيود التقليدية في توليد النصوص. حيث تتيح هذه النماذج توليد الرموز بترتيب عشوائي، مما يوحي بوجود فضاء حل يتيح التفكير العميق والمبدع. ولكن، هل هذه المرونة فعلاً تفيد النماذج عند تنفيذ مهام عقلية معقدة مثل الرياضيات أو البرمجة؟

تظهر الأبحاث الحديثة أنه رغم إمكانيات الدLLMs، فقد يحد هذا الترتيب العشوائي من قدراتها العقلية بدلاً من تعزيزها. حيث يتم ملاحظة أن هذه النماذج تميل إلى استغلال هذه المرونة لتجنب الرموز ذات الشكوك العالية، والتي تعد ضرورية للاستكشاف الفعّال. هذه الآلية قد تؤدي إلى تراجع الحلول المتاحة، مما يستدعي إعادة التفكير في الاستراتيجيات المعتمدة على التعلم المعزز (Reinforcement Learning) لهذه النماذج.

بإيجاز، توصل الباحثون إلى أن تجنب الترتيب العشوائي والتركيز على استخدام تقنيات مثل تحسين السياسة النسبيّة الجماعية (Group Relative Policy Optimization - GRPO) قد يُحسن من خيارات التفكير بشكل ملحوظ. تم تقديم نهج جديد يسمى JustGRPO، والذي أثبت فعاليته بشكل مفاجئ، محققًا دقة تصل إلى 89.1% على مجموعة بيانات GSM8K، مع الحفاظ على قدرة النماذج على فك الرموز بتوازي.

هل ستستمر هذه النماذج في إبهارنا بأساليب جديدة، أم سنكون أمام تحديات جديدة في فهم قدراتها؟ شاركونا آراءكم في التعليقات!