في عالم نظم الدفع الحديثة، أصبح استخدام نظم متعددة الوكلاء المستندة إلى نماذج لغوية ضخمة (LLMs) شائعًا بشكل متزايد. ورغم ذلك، لا تزال المعايير المستخدمة في تقييم هذه النظم، مثل معدل نجاح المهام (Task Success Rate - TSR) ومعدل الانتقال بين الوكلاء (Agent Handoff F1-Score - HF1)، تفتقر إلى الدقة، حيث تركز فقط على النتائج النهائية أو القرارات غير المرتبة.

لذا، تم تقديم مقياس جديد يُعرف بمعدل النجاح الوكالي (Agentic Success Rate - ASR) والذي يركز على قياس الأداء في مستوى إنتقال الوكلاء. يتناول هذا المقياس كيفية مقارنة تسلسلات التنفيذ الملاحظة مع المتوقعة، ويعمل على تفكيك الأداء إلى دقة الانتقال (Transition Precision) واسترجاع الانتقال (Transition Recall).

قام الفريق البحثي بتطبيق ASR على نظام الدفع متعدد الوكلاء الهرمي (Hierarchical Multi-Agent System for Payments - HMASP) والتي تشمل 18 نموذجًا مختلفًا من نماذج اللغة وقاموا بتحليل 90,000 حالة مهمة. المفاجأة كانت في أن 10 من أصل 18 نموذجًا تتجاوز نقاط تأكيد الدفع، مما يعتبر خطأً قد لا يظهر في TSR وHF1. بينما تمكن 8 نماذج من الالتزام بنقاط التأكيد بشكل كامل.

على وجه الخصوص، أظهر نموذج GPT-4.1 اختصارات غير مرئية في سير العمل رغم تحقيقه لمعدلات TSR وHF1 المثالية، بينما حقق نموذج GPT-5.2 معدل ASR المثالي. كما أدى تحسين العبارات التمهيدية والتوجيهات المحددة المستندة إلى تشخيصات ASR إلى تحسين كبير في TSR بنسب تصل إلى +93.8 نقطة مئوية، مما يبرز أهمية تقييم الأداء على مستوى المسار في المجالات المنظمة.

في النهاية، يُعَدُّ استخدام ASR خطوة فارقة نحو تحسين نظم الدفع، مما يساعد المطورين على التحسين المستمر للأداء والامتثال في بيئات تتطلب الدقة.