ما لا تراه نماذج اللغة الكبيرة: هل تعتمد على الذكاء الاصطناعي في تقييم الخدمات؟

في عصر يعتمد فيه الكثيرون على تقنيات الذكاء الاصطناعي، يبدو أن نماذج اللغة الكبيرة (Large Language Models) أصبحت الأداة الأساسية المستخدمة لتقييم وكلاء المحادثة. لكن هل يمكن الاعتماد عليها بشكل كامل؟

أظهرت دراسة حديثة، تناولت تقييم نموذج وكيل لطلب الطعام والشراب، أن هذه النماذج لا تستوعب إلا ما يقل عن ربع المشكلات الحقيقية. حيث تم إجراء مراجعة شاملة للمحادثات البشرية، أظهرت النتائج أن النموذج لم يتمكن من اكتشاف سوى 2 من 9 أنماط مشكلات (22%) في إحدى الدفعات، بالإضافة إلى أنه لم يستطع التعرف على أي من المشكلات المؤكدة في مجموعة أخرى تضم 100 حالة.

التحليل أظهر أن المشكلة ليست عشوائية، بل هي هيكلية. فقد أشارت الدراسة إلى أن النموذج تمكّن من تحديد مشكلات محلية بسيطة، مثل الإحصائيات الكاذبة أو اللغة الخاطئة، لكنه فشل في اكتشاف مشكلات تعتمد على الحالة المتعددة الأدوار، مثل قفل بوابة التأكيد وظهور عناصر عشوائية في العربة.

والسبب وراء ذلك هو محدودية أساليب التقييم المستخدمة، التي لا تتجاوز ثلاثة محاور رئيسية (النية، صوت العلامة التجارية، والتخصيص)، مما أدى إلى إغفال الأبعاد السلوكية الأكثر أهمية.

نتائج هذه الدراسة تمثل إنذاراً مهماً لمجال استخدام الذكاء الاصطناعي في تقييم جودة الخدمات. فالاعتماد بشكل كامل على الأنظمة الآلية قد يتسبب بخسائر جسيمة، فجودة الخدمة البشرية لا يمكن تعويضها.

كيف ترى استخدام الذكاء الاصطناعي في تقييم أداء وكالات المحادثة؟ هل تعتقد أنه يجب أن يتضمن مراجع بشرية أكثر؟ شاركونا آرائكم في التعليقات.