في عالم الذكاء الاصطناعي، تظهر نماذج اللغة المشتتة (Diffusion Language Models) كبديل مثير لنماذج التوليد التلقائي (Autoregressive Models)، حيث تقدم هذه النماذج تأخيرًا في التوليد أقل من الخط الزمني، بالإضافة إلى قدرات ثنائية الاتجاه تُعتبر مثالية لتوليد وتحرير الشفرات.

تتطلب هذه النماذج المشتتة تحقيق تأخير فرعي يعتمد على توقع عدة رموز (tokens) في وقت واحد. ومع ذلك، فإن النماذج التقليدية تعتمد على عينة من الرموز بشكل مستقل، مما يؤدي إلى عدم القدرة على التقاط العلاقات المشتركة بين الرموز المولدة. هذا يمكن أن يؤدي إلى تناقضات نحوية ويكسر هياكل الرموز المتعددة.

ولهذا، تم تقديم تقنية جديدة تُعرف بـ CoDiLA (التفريغ المتماسك مع الانحدار الذاتي المحلي)، التي تهدف إلى تحقيق التوازن بين أخذ عينات متوازية ونمذجة الاعتماد المحلي. بدلاً من فرض أي تعقيدات نحوية على النموذج، فإن CoDiLA تُفوض عمليات الفهم المحلي إلى نموذج انحدار ذاتي صغير يعمل على معطيات المشتت.

هذا التصميم الذكي يسمح بتوليد متوازي مع ضمان شرعية تسلسلية داخل الكتل، مع الحفاظ على قدرة النماذج المشتتة الرئيسية، بما في ذلك النمذجة الثنائية الاتجاه عبر الكتل. ولقد أظهرت دراساتنا أن استخدام نموذج AR مُساعد مضغوط بشكل كبير (مثل 0.6 مليار معلمة) يزيل بفاعلية التناقضات، مؤسسًا حدوداً جديدة على مستوى الدقة والسرعة في اختبارات توليد الشفرات.