في زمن تتسارع فيه وتيرة الابتكارات في مجال الذكاء الاصطناعي، تظهر نماذج اللغة بشكل بارز بفضل التقنيات المتقدمة مثل التعلم المعزز (Reinforcement Learning). ولكن رغم النشاط المتزايد، كانت المشكلة الكبرى أن تطوير نماذج الانكشاف المMasked Diffusion Language Models (MDLMs) قد واجه تحديات متعلقة بعدم القدرة على تقدير الاحتمالات بشكل دقيق.

تعود المشكلة إلى صعوبة تقدير احتمالات الشروط بشكل صحيح، حيث كانت الأساليب الحالية تعتمد فقط على توقعات الرموز، متجاهلة الترتيب الذي يتم فيه إلغاء القناع (remasking) خلال عملية التوليد.

حلت الدراسة الجديدة هذه الإشكالية عبر إدراك أن عملية توليد MDLM تنطوي على قرارات ثنائية في كل خطوة: ما الرموز التي يجب وضعها في كل موقع مقنع (masked position) والمسؤولية عن تحديد أي المواقع يجب إلغاء قناعها. من خلال هذا الإدراك، تمكن الباحثون من صياغة نموذج جديد يعتمد على عمليات اتخاذ القرار الموجهة من خلال سياسي Gradients.

من خلال دمج تحسين كلاً من مصطلح الرموز ومصطلح القناع، تم تحقيق نتائج غير مسبوقة في مجال التفكير الرياضي والتشفير، حيث حصلت النماذج على درجات مذهلة تبلغ 87.1% على اختبار GSM8K و53.4% على اختبار MBPP. يبدو أن هذه الطريقة قد فتحت آفاقا جديدة تعزز من قدرات نماذج اللغة وتعالج مشكلات سابقة بشكل فعال.