في عالم الذكاء الاصطناعي، تعتبر الوكلاء المحادثيون (Conversational Agents) من الإنجازات الرائعة التي تمكّن الأجهزة من التفاعل مع البشر بطريقة طبيعية. ومع ارتفاع توقعات المستخدمين فيما يخص استجابات هذه الوكلاء، أصبح من الضروري تعميق الفهم في سلوكهم الإجرائي. هنا يظهر مشروع ديالFork كأداة محورية لتقييم تلك التفاعلات.

يُعَرّف التجاوز الإجرائي (Procedural Hallucination) كحالة حيث يقوم الوكيل بإنتاج حوارات تبدو صحيحة من ناحية اللغة، لكنها تنحرف عن المسار الإجرائي المخطط. بينما تم تناول التجاوزات الواقعية بشكل موسع، فإن ديالFork يسلط الضوء على الحاجة لقياس هذا النوع من الأخطاء.

تم تطوير ديالFork كأول معيار لاستكشاف التجاوزات الإجرائية، حيث يتم استخدام محادثات حقيقية وحقن أربعة أنواع من التجاوزات، مما ينتج عنه 36,278 محادثة تغطي 24 مهمة في 12 مجالاً. تم التحقق من صحة هذه المحادثات بواسطة 30 مُعَلقاً بشرياً، وهو ما يعزز مصداقية الدراسات المستقبلية.

يشمل المشروع أيضًا ثلاثة مهام تقييمية تتعلق بالتجاوز الإجرائي، مما يسمح بتحديد كيف يبتعد الحوار عن المسار الصحيح، وكذلك تحديد أول نقطة ينحرف فيها النقاش. كما تم تقديم مقاييس جديدة تُسمى FlowKL و FlowScore، التي تقارن بين الحوارات بناءً على كيفية تطورها بدلاً من محتواها، مما يظهر أهمية التطابق الإجرائي بدلاً من التطابق الدلالي.

بإطلاق ديالFork تحت رخصة MIT، يأمل مطورو المشروع أن تساعد هذه الأداة المجتمع الأكاديمي والصناعي في قياس العمليات التفاعلية بجانب المحتوى، مما يعد خطوة عظيمة نحو تحسين تفاعلنا مع الذكاء الاصطناعي.

في ظل هذه التطورات، نود أن نعرف آرائكم: كيف ترون دور التجاوزات الإجرائية في تحسين تجربة المستخدم؟ شاركونا في التعليقات!