تُعَد نماذج اللغة الاحتمالية التلقائية (Autoregressive Language Models) من المحركات الرئيسية التي ساهمت في تقدم نظم البرمجة الآلية وتوليد الكود. إلا أن هذه النماذج تفرض قيودًا بنيوية على عمليات التفكير المنطقي المتعلقة بالبرمجة، مثل التخطيط العالمي وتحديات الحفاظ على الاعتمادات بعيدة المدى فضلاً عن صعوبة تحقيق التوافق مع معاني تنفيذ البرمجيات.

في الوقت الذي تُظهر فيه الأدبيات الحالية ميلًا كبيرًا نحو النماذج الاحتمالية التلقائية، تبرز مجالات جديدة يمكن أن تتجاوز العقبات المنطقية والتوسعية لتحسين القدرة على توليد الكود بوسائل معمارية جديدة.

من بين هذه التطورات، تبرز نماذج الانتشار (Diffusion Models) كإحدى التقنيات الواعدة التي تُنشئ الكود من خلال تنقيح شامل يلتقط القيود النحوية الطويلة النطاق، والتي غالبًا ما تفوتها النماذج التقليدية. كما أننا نستعرض نماذج عالم البرمجيات (Code World Models) التي تحاكي حالات التنفيذ لدعم التفكير المنطقي، ونماذج الفضاءات الحالة (State Space Models) التي توفر كفاءة زمنية خطية في معالجة سياقات ضخمة.

من خلال الربط بين هذه التطورات واكتشافات علم الأعصاب المعرفي، نقترح مسارات لتطوير وكلاء توليد كود من المستوى الثاني (System 2) الذي ينطلق بالأداء البرمجي إلى آفاق جديدة.