في إطار التطورات المتسارعة في مجال الذكاء الاصطناعي، تتمحور الكثير من المناقشات حول خوارزميات التدريب التوليدي (Generative Pre-training) وخاصة في كيفية تحسين أدائها من خلال فهم أعمق لآليات الاستدلال. غالباً ما يُعتبر التباين بين النماذج التلقائية (Autoregressive Models) للمؤشرات المنفصلة والنماذج الانسيابية (Diffusion Models) للإشارات المستمرة نطاقاً غير دقيق.

نعتقد أن هذا التباين مضلل، حيث يخلط بين فئات النماذج، وتمثيل البيانات، وأهداف التدريب، وإجراءات الاستدلال. فالإجراءات التلقائية تمثل عملية استدلال تقوم بتوسيع تسلسل معين من خلال سحب شرطية مُعَرَّفة، بينما تعتمد النماذج الانسيابية على تحسين حالة موجودة عن طريق إجراء تعديلات متكررة.

عوضاً عن التركيز على التباين بين الطريقتين، سيكون من الأفيد التركيز على الرموز المنفصلة (Discrete Tokens) التي يتم تعلمها باستخدام خسارة الانتروبيا المتقاطعة (Cross-Entropy) مقابل الرموز المستمرة (Continuous Tokens) التي تتعلم باستخدام أهداف على نمط الانسيابية، إضافة إلى خوارزميات الاستدلال المستخدمة لاستخراج النتائج منها.

من هذا المنظور، يجب أن تُعطى الأولوية للتقدم البرمجي في جوانب كفاءة وقت الاستدلال، بما في ذلك توسيع التسلسل وتحسين الحالة. نرى أنه من الضروري تصميم إجراءات الاستدلال قبل الهدف التدريبي، وذلك لأن الطريقة التدريبية لا يمكنها التعويض عن خريطة استدلال تفتقر إلى الحجج الضرورية أو تفرض تفكيكاً غير صحيح.

تظهر هذه المبادئ من خلال قيود زمنية لأدوات DDIM، ومحددات توزيع مشتركة في التنبؤ متعدد الرموز، وأحدث أساليب تدفق البيانات (Flow-Map) وأسلوب التقطير لعدد قليل من الخطوات، التي تقوم بتمرير الاستدلال لمسافات طويلة بشكل مباشر.