تُعتبر نماذج اللغة ذات الانتشار (Diffusion Language Models) بدائل واعدة للنماذج التلقائية (Autoregressive Language Models) في مجال الذكاء الاصطناعي، ولكن لا يزال هناك الكثير من الجوانب غير المستكشفة بشأن النصوص التي تُنتَج بواسطة كلا النوعين. من خلال أبحاث جديدة، تمكَّن الباحثون من إثبات أن نماذج الانتشار تنشر نصوصًا ذات تنوع ودلالات عالية مقارنةً بالنماذج التلقائية.

في البداية، أظهرت التجارب أن نماذج الانتشار تُنتِج نصوصًا بتوتر أقل في نوافذ الـ $n$-grams، مما يعني أنها أكثر تماسكًا وثراءً في الدلالات. وهذا يعني أن النصوص التي تُنتَج تتسم بجودة أعلى من حيث التفكير الدلالي. ولكن ما هو السبب وراء هذا التفوق؟

لمعرفة الأسباب، أجرى الباحثون تجارب مضبوطة فصلت تأثير أهداف التدريب وثوابت التفكيك. النتائج أظهرت أن هدف التدريب لنماذج الانتشار يؤثر بشكل كبير على التماسك الدلالي والتنوع الدلالي، بينما له تأثير طفيف فقط على توتر النصوص. الفرق الأساسي ينبع من السياق الثنائي الاتجاه الذي توفره نماذج الانتشار، في حين أن مكونات التدريب الأخرى مثل إخفاء المدخلات أو وضع العلامات تؤثر بشكل أقل.

علاوة على ذلك، أوضحت التجارب أن الأسباب وراء الانخفاض في التوتر ترجع إلى خوارزميات التفكيك المستخدمة في نماذج الانتشار، وخاصة تلك التي تعتمد على استراتيجيات التجديد المبني على الثقة. تم تقديم تفسير نظري لهذه الظاهرة من الانخفاض في التوتر، مما يوفر رؤى قيمة حول الآليات الرئيسية التي تؤثر على الفرق بين نماذج اللغة ذات الانتشار والنماذج التلقائية في إنتاج النصوص.

بشكل عام، تعزز هذه النتائج فهمنا للعمليات التي تقف وراء إنتاج النصوص وتساهم في تحسين تصميم أهداف التدريب وخوارزميات التفكيك في نماذج الانتشار المستقبلية.