في عالم الذكاء الاصطناعي (AI)، تبقى الدورات الاحتمالية (Probabilistic Circuits) من النماذج الغير مُستغلة بشكل كامل، وهي نموذج عميق للغة يدعم استنتاجات احتمالية دقيقة وفعّالة. لكن، عند الحديث عن نمذجة اللغة التلقائية، يظهر أن هذه الدورات قد تظل متخلفة عن نظيراتها القائمة على تكنولوجيا التحويل (Transformer)، مما يدلّ على وجود فجوة تعبيرية هامة.

في هذا الإطار، قمنا بمقارنة الدورات الاحتمالية مع نماذج اللغات الضخمة (Large Language Models) تحت منظور موحد للنمذجة التلقائية. لنبدأ بتحليل "اختناق الإخراج"، حيث تعاني الدورات الاحتمالية من حصر القرارات على شكل تركيبات محدبة في فضاء الاحتمالات، مما يجعلها غير قادرة على تمثيل التوزيعات الحادة التي تتسم بها اللغات. ومع ذلك، يمكن للتبني الجديد لتهيئة فضاء اللوجيت (logit-space parameterization) أن يُقلل بشكل كبير من هذه الفجوة.

بالإضافة إلى ما سبق، تظهر مشكلة أخرى تتمثل في "اختناق ترميز السياق". من خلال البحث، أثبتنا أن الدورات الاحتمالية القابلة للتفكيك الهيكلي يمكن أن تتطابق مع تصنيف فصل التحويلات على أقسام موجهة (vtree-aligned partitions)، لكن القدرة على التحليل تظل مقيدة بالأقسام المتوافقة مع الهيكل الثابت للتوجيه، مما يؤدي إلى تدهور كبير عند مواجهة بيانات ذات توزيعات اعتمادية غير متجانسة.

بالمزيد من التدقيق، أثبتنا أن الدورات القابلة للتفكيك تكون أكثر تعبيراً مقارنة بتلك الهيكلية، مع العلم أن التحدي الفعلي يبقى في كيفية تحسين أداء هذه النماذج بشكل فعّال.

إن تطوير نماذج عالية الأداء في مجال الذكاء الاصطناعي يعتمد على القدرة على تجاوز هذه الفجوات التعبيرية، وهذا يتطلب المزيد من البحث والابتكار. كيف ترون مستقبل التطور في هذا المجال؟ شاركونا أفكاركم في التعليقات.