في عالم الذكاء الاصطناعي، تظهر [نماذج اللغة](/tag/[نماذج](/tag/نماذج)-[اللغة](/tag/اللغة)) المشتتة (Diffusion Language [Models](/tag/models)) كبديل مثير لنماذج [التوليد](/tag/التوليد) التلقائي (Autoregressive [Models](/tag/models))، حيث تقدم هذه [النماذج](/tag/النماذج) تأخيرًا في [التوليد](/tag/التوليد) أقل من الخط الزمني، بالإضافة إلى قدرات ثنائية الاتجاه تُعتبر مثالية لتوليد وتحرير الشفرات.

تتطلب هذه [النماذج](/tag/النماذج) المشتتة [تحقيق](/tag/تحقيق) تأخير فرعي يعتمد على توقع عدة [رموز](/tag/رموز) (tokens) في وقت واحد. ومع ذلك، فإن [النماذج](/tag/النماذج) التقليدية تعتمد على [عينة](/tag/عينة) من الرموز بشكل مستقل، مما يؤدي إلى عدم القدرة على التقاط [العلاقات](/tag/العلاقات) المشتركة بين الرموز المولدة. هذا يمكن أن يؤدي إلى تناقضات نحوية ويكسر هياكل الرموز المتعددة.

ولهذا، تم تقديم [تقنية جديدة](/tag/[تقنية](/tag/تقنية)-جديدة) تُعرف بـ [CoDiLA](/tag/codila) (التفريغ المتماسك مع [الانحدار](/tag/الانحدار) الذاتي المحلي)، التي تهدف إلى [تحقيق](/tag/تحقيق) التوازن بين أخذ عينات متوازية ونمذجة الاعتماد المحلي. بدلاً من فرض أي تعقيدات نحوية على النموذج، فإن [CoDiLA](/tag/codila) تُفوض عمليات الفهم المحلي إلى [نموذج](/tag/نموذج) انحدار [ذاتي](/tag/ذاتي) صغير يعمل على معطيات المشتت.

هذا [التصميم](/tag/التصميم) الذكي يسمح بتوليد متوازي مع ضمان شرعية تسلسلية داخل الكتل، مع الحفاظ على قدرة [النماذج](/tag/النماذج) المشتتة الرئيسية، بما في ذلك [النمذجة](/tag/النمذجة) الثنائية الاتجاه [عبر](/tag/عبر) الكتل. ولقد أظهرت دراساتنا أن استخدام [نموذج](/tag/نموذج) AR مُساعد مضغوط بشكل كبير (مثل 0.6 مليار معلمة) يزيل بفاعلية التناقضات، مؤسسًا حدوداً جديدة على مستوى [الدقة](/tag/الدقة) والسرعة في [اختبارات](/tag/اختبارات) [توليد الشفرات](/tag/[توليد](/tag/توليد)-الشفرات).