في عالم أنظمة الوكلاء (Agent Systems) المتطورة، حيث تتزايد أهمية تتبع تنفيذ العمليات، أظهرت الأبحاث الأخيرة حول TelemetrySuffBench أن أنظمة المراقبة ليست كافية في بعض الأحيان لتشخيص أسباب الفشل بشكل دقيق. تقدم هذه الأداة الجديدة معيارًا تحكيميًا (Benchmark) يميز بين الكشف عن الفشل وتحديد موقع الخلل، بالإضافة إلى كيفية التعامل مع المعلومات غير الكافية.

يتمكن TelemetrySuffBench من إنشاء مسارات تنفيذية متعددة العناصر تحتوي على أخطاء مرتبطة بتأخير، حيث تُعرض البيانات بطريقة تتيح استخدامها في تقييم مناطق الضعف. وقد تم اختبار خمسة نماذج لغوية متقدمة، مع مقارنة أدائها في تحديد الأسباب بدقة تحت ظروف مختلفة، ليتبين أن دقة النموذج في تحديد أسباب الفشل قد تتراوح بين 33.8% إلى 97.2%، وهو ما يكشف الفجوة الكبيرة في الأدوات المتاحة.

وعند استخدام بيانات تعريفية مرتبطة، حافظت النماذج على دقة اكتشاف تتراوح من 99.5% إلى 100%، لكنها في الوقت ذاته عانت من تراجع كبير في دقة تحديد السبب، حيث لم تتجاوز 0.5%. تُظهر التحليلات التكميلية أن إزالة المعلومات عن القرارات تؤدي إلى انخفاض دقة السبب إلى الصفر بالنسبة لجميع النماذج، مما يشير إلى تأثير كبير للمحتوى المتخذ للإجراءات.

وفيما يتعلق بالمدخلات التي تتطلب الامتناع، أظهر استخدام بوابات الأدلة (Evidence Gating) تقليلاً في الإجابات غير المدعومة من 12.5 إلى 48.6 نقطة مئوية. هذه النتائج تشير إلى اعتماد قوي للنماذج على كيفية التعامل مع حالات الامتناع.

خلاصة القول، تكشف هذه الدراسة أن الحالة النهائية قد تدعم الكشف عن الفشل، ولكن الاعتماد الموثوق لتحليل الأسباب يتطلب روابط واضحة بين القرارات وأصول المعلومات، بالإضافة إلى تدابير امتناع فعالة تبقى فعالة عبر مختلف النماذج. للاطلاع على مجموعة البيانات وتنفيذ المعيار، يمكن زيارة هذا الرابط.