أصدر الباحثون دراسة جديدة تستكشف الفرق بين قراءات النتائج المسجلة والنتائج المُولدة في نماذج اللغة السلوكية (Behavioral Language Models) التي تم تحسينها لتتنبأ بسلوك العملاء. حيث تم تحديد أن قراءة النتائج المسجلة تتفوق على النتائج المُولدة من حيث دقة التصنيف، مما يشير إلى أهمية اختيار التنسيق المناسب للنتائج.

تتمحور الدراسة حول مقارنة النماذج من حيث الدقة، حيث تم الاحتفاظ بمحتوى نقطة التحكم (checkpoint) والسياق ثابتين. أظهرت النتائج المستخلصة من 13 خلية نموذجية تغطي أربع مهام تجزئة في ثلاثة أسواق مختلفة، أن قراءة النتائج المُسجلة تصدرت الأداء في 12 من 13 خلية.

وبإجراء اختبار ذو طرفين (two-sided sign test) تم التوصل إلى أن الفارق دال إحصائياً تقريباً عند مستوى (p ≈ 0.003). كما أظهرت التحليلات أن الفروق تختلف بناءً على إرشادات المهام المحددة والفروق بين التنسيق المستخدم في التدريب والتنفيذ، حيث تراوحت الفروق بين -2.2 نقطة لنموذج أساسي غير مُعدل إلى +13.7 نقطة لأسلوب الإشراف المبني على التنسيق.

تحديد أكثر من 9000 مسوّغ يكشف عن وجود عاملين يسهمان في هذه الفروق: تقليل الاعتماد على الميزة التنبؤية السائدة وتركز النتائج على الصيغ المعتمدة، كما أن تشبع الاحتمالية لم يتجاوب مع تلك الفجوة.

أخيراً، تعكس الدراسة أهمية الحفاظ على المُسوغات المُولدة مع الاستمرار في استخدام النتائج المُسجلة في تحديد التصنيف، مما يطرح تساؤلات حول استراتيجيات تحسين الأداء في مثل هذه النماذج. هل تعتقد أن هذه النتائج ستغير من كيفية تصميم النماذج السلوكية في المستقبل؟ شاركونا آراءكم في التعليقات.