في عالم يتزايد فيه الاعتماد على وكلاء الكمبيوتر المستخدمين (Computer-use Agents) لتنفيذ المهام اليومية عبر الواجهات المكتبية والويب، تظهر التحديات الكبيرة في تشخيص وإصلاح الأخطاء التي يتعرضون لها. يُعتبر الفشل في هذه الأنظمة معضلة معقدة بسبب التفاعل بين الإدراك البصري والبيئة الديناميكية والاستجابة المتسقة.

لذا، تم تقديم CUADebug كإطار عمل متكامل يهدف إلى تشخيص وإصلاح أخطاء هؤلاء الوكلاء بفاعلية. يحتوي هذا الإطار على تصنيف خاص بالأخطاء (CUA-specific error taxonomy) ومرجع مرجعي للأخطاء يسمى CUAErrorBench، بالإضافة إلى أداة مضافة تُعرف باسم CUADebugger.

تستخدم CUADebugger منهجية فريدة عبر النظر في خطوات مشبوهة، باستخدام لقطات شاشة قبل وبعد وتأثيرات العمل لتقديم تشخيص منظم يتضمن التفاصيل اللازمة مثل خطوة السبب الجذري، نوع الخطأ، والأدلة المدعمة لاسترجاع فعال.

تشير الدراسات التي شملت 204 حالة فشل إلى أن الفشل الأكبر ينتمي إلى مجال التفكير والتحكم، يليه الإدراك والتفاعل، مما يعكس التحديات المتعددة التي تواجه تلك الأنظمة. من الجدير بالذكر أن CUADebugger تعمل على تحسين دقة التشخيص من 11.2% إلى 19.6%، مما يبشر بمستقبل أكثر إشراقاً لوكلاء الكمبيوتر.

تشير النتائج إلى أن تشخيص السبب الجذري يوفر إشارات إصلاح قابلة للتنفيذ بدلاً من مجرد تفسيرات بعد حدوث الخطأ. فهل ترى أن CUADebug قادرة على تغيير طريقة تعاملنا مع الوكلاء الإلكترونيين؟ دعونا نناقش في التعليقات.