مع تزايد الاعتماد على وكلاء الذكاء الاصطناعي (AI Agents) في عمليات وصيانة الشبكات، تبرز الحاجة إلى تقييم فعّال لقدرات هؤلاء الوكلاء في مواجهة الأعطال المعقدة. هنا يأتي دور CTBench، وهو معيار جديد تم تطويره لتحديد مدى كفاءة وكيل الذكاء الاصطناعي في التعامل مع أعطال الشبكات بطريقة تشبه مهارات المهندسين البشريين.

CTBench يركز على التحليل الدقيق للأسباب الجذرية للأعطال واستعادة المسارات. كل مهمة تم تصميمها بواسطة خبراء وتم تزويدها ببيانات غنية، بما في ذلك خطوات الدليل المعتمدة. تُستخدم في CTBench مقاييس مستندة إلى خبراء لتقييم كلٍ من الإجابات النهائية والأدلة التشخيصية.

تكشف التجارب عن نتائج مثيرة للاهتمام، حيث تُظهر أن الوكلاء المتقدمين يتمتعون بأداء جيد في تحديد النقاط النهائية خلال مهام استعادة المسار، إلا أنهم يعانون من أداء ضعيف في تحليل الأسباب الجذرية. يواجه هؤلاء الوكلاء تحديات خاصة في تحليل حالة الواجهة، وطبقة الارتباط، وإدارة الخدمات، وعيوب تشغيلية أخرى.

والأكثر إثارة، هو أنه حتى عندما يتمكن الوكلاء من تقديم إجابات صحيحة أو تبدو معقولة، فإنهم غالباً ما يفشلون في تقديم التشخيصات المعتمدة على الأدلة المطلوبة في الممارسة العملية.

إضافة إلى ذلك، توضح النتائج أن استعادة المسارات تتطلب موارد أكبر، ومع ذلك، لا يعني زيادة الموارد بالضرورة تحسين التشخيص. هذا يجعل CTBench أداة حيوية لتقييم وتحسين أداء وكلاء الذكاء الاصطناعي، وجعلهم أكثر فاعلية في عالم الاتصالات المعقد.