قوة الالتزام في نماذج لغات الانتشار: لماذا يجب أن نجيب أولاً قبل التفكير؟

تعد نماذج اللغات الموزعة (Diffusion Language Models) من الابتكارات التقنية التي تم تصميمها لتعزيز أداء الموديلات اللغوية عبر الالتزام الحر بالتوكنز. ومع ذلك، أظهرت الدراسات الجديدة أن هذا الحرية قد تكون عائقاً بدلاً من ميزة في سياقات التفكير.

فكما يوضح البحث، فإن نماذج مثل LLaDA-8B تعاني من مشكلة حادة في توصيل الإجابات الصحيحة عند مواجهة تحديات التفكير المعقد. فتشير البيانات إلى أن الالتزام الحر بالتوكنز يساهم في حصر الإجابات النهائية، حيث يتم الحصول على النتائج النهائية بنسبة تتراوح بين 15 إلى 24% فقط من مسار التجربة، بينما لا يزال نصف منطقة التفكير غير مفكوك.

النتيجة الأكثر إثارة للدهشة هي أن هذه النماذج تعاني من انهيار في تقديم إجابات صحيحة في ما يصل إلى 90% من المشكلات مع زيادة تعقيد المدخلات. ذلك ليس مرده إلى تصورات النموذج حول إنهاء المهمة، بل يظهر أن الوصول إلى المعلومات على مواقع بعيدة هو ما يؤثر بشكل أكبر.

تم تطوير نهج جديد يعرف باسم "الالتزام البحيطي" (Frontier-Gated Commitment) والذي أثبت فعاليته في تحسين الأداء، حيث ساعد على العودة بالنتائج إلى مستوى يزيد عن 0.85 بينما لا يزال يوفر عمليات التشفير المتوازية.

بناءً على نتائج هذه الدراسات، يبدو أن إعادة تصميم عينات النافذات الموضوعة لإنتاج نماذج لغوية تفكر بطريقة أفضل قد تكون الحاجة الملحة، مما يعيد تشكيل رؤيتنا الحالية لتقنيات نماذج اللغات الديفيوشن.