في عالم الذكاء الاصطناعي، تعتبر تصحيح الأخطاء (bug fixing) من أكبر التحديات التي تواجه المطورين. حيث تُظهر الأخطاء في تسخير الوكلاء (agent harness bugs) خصائص فريدة تجعل من الصعب على البرمجيات الحديثة إصلاحها. تقدم الأبحاث الأخيرة، ومن بينها تقنية AgentBug-Smith، حلاً مبتكرًا لهذه المشكلة. يعتمد AgentBug-Smith على منهج تلقائي لاكتشاف وإعادة إنتاج الأخطاء الحقيقية في الأنظمة الوكيلة المفتوحة المصادر.

تعتبر هذه التقنية علامة فارقة، حيث أظهرت تفوقًا ملحوظًا مقارنة بالأساليب القائمة، بمعدلات نجاح تتراوح بين 10.67% و27.56% في إعادة إنتاج الأخطاء. لا تتوقف الفوائد هنا، فقد تم إنشاء Live-Harness-Bench، وهو معيار حي وقابل للتطوير، يحتوي حاليًا على 200 خطأ قابل للإنتاج.

استُخدمت Live-Harness-Bench كشهادة لتقييم فاعلية الوكلاء البرمجيين المتقدمين، مُظهرةً قدراتهم المحدودة في تصحيح الأخطاء الحقيقية. كما تعمل كقاعدة بيانات للمعرفة حول إصلاح الأخطاء، مما يمكّن من تحسين مهارات الإصلاح للبرمجيات الحالية وزيادة معدلات النجاح في إصلاح الأخطاء بنسبة تصل إلى 6.32%.

يساهم كل من AgentBug-Smith وLive-Harness-Bench في إرساء أساس متين لتقييم وتحسين الوكلاء البرمجيين بشكل مستمر، مما يجعل من أخطاء الحياة الواقعية تجارب تقييم قابلة للتنفيذ ومعرفة قابلة للاستخدام من أجل تحسين الأداء، والتوجه نحو الهدف النهائي المتمثل في تطوير وكلاء ذاتي التحسين.