في عالم الذكاء الاصطناعي، ليس من الكافي فقط أن تنجح الوكالات في إتمام مهامها، بل يتعين عليها أيضًا إثبات قدرتها على الوفاء بالتزاماتها بطريقة موثوقة. هنا يأتي نظام AgentEval ليحدث ثورة في كيفية تقييم الوكالات الذكية.

تعمل هذه التقنية على تسجيل تقييمات قائمة على عقود، محمولة عبر تنفيذ الأدوات، والتقاط الحالة والأحداث، وتأهيل التقارير، وصيانة الحالات. ويتيح هذا النظام الفصل بوضوح بين ما أنجزته الوكالة، وما يثبته الدليل، وما إذا كانت الاستنتاجات قيد الدعم لاستخدامها في الوقت الحالي.

أظهرت نتائج الأنظمة المستخدمة في 32 حالة اختبار أن التحقق المستقل اتفق على جميع الحلقات المكتملة البالغ عددها 30، مما يتيح تمييز الوكالات التي وفرت الالتزامات، وتلك التي انتهكتها، وكذلك الحلقات غير المحلولة. كما تم الاحتفاظ بحالتين تم قطعهما.

أظهرت التدخلات المنضبطة على 48 عرضًا من الأدلة 36 خطأً ملزمًا لم يتم الكشف عنه من خلال الفحوصات التي تعتمد على التجزئة فقط، ودون تغيير سلوك الوكالة. ويستعمل Scenario Studio الحالات المراجعة لربطها بـ 12 تقريرًا بتناوبين، مدعومًا بـ 24 إجابة تم التحقق منها بشكل مستقل.

علاوة على ذلك، يكشف دراسة معيارية عامة استنادًا إلى 192 تنفيذًا محفوظًا، عن عشرة أهداف فرعية تم إنجازها داخل فشل المهام الأوسع، معزولًا تأثير الأدلة المفقودة. هذه الدراسات توضح كيف تجعل سجلات التقييم القابلة للتنفيذ النطاق والدعم الأدلة وإعادة استخدام التقارير قابلة للمراقبة عبر سير عمل تقييم الوكالات.