تمثل الوكالات التنفيذية (Executable Agent Skills) جزءًا حيويًا من نماذج اللغات الكبيرة (Large Language Models)، حيث تجمع بين التعليمات بلغة طبيعية والنصوص البرمجية في حزم قابلة لإعادة الاستخدام. ومع ذلك، يتمثل التحدي الرئيسي في تحديث هذه الحزم دون التأثير على سلوكها الصحيح. للأسف، لم تكن المعايير الحالية توفر تمييزًا منهجيًا بين إصلاح التوثيق، إصلاح البرامج، والحفاظ عليها خلال تقييم تطور المهارات.

أطلق فريق من الباحثين مشروع "SkillScriptBench"، وهو معيار حديث يتألف من 350 مهمة، تم تصميمه لتقييم هذه القدرات بشكل منفصل. يقوم المشروع على دراسة لأكثر من 35,000 جذور مهارات مستضافة على GitHub، حيث تم اختيار 100 حزمة وتم بناء 150 مهمة إصلاح. يتيح كل مهمة إقران حزمة تحتوي على أخطاء برمجية مع طلب صيانة وفحوصات قابلة للتنفيذ للسلوك المطلوب.

تحتوي المسار المكمل على 200 مهمة من 50 حزمة، وهو ما يتم تقييمه تحت نفس طلب الصيانة في أربع حالات: نظيف، أخطاء توثيق، أخطاء برمجية، وأخطاء في كلا الحالتين. عبر أربع نماذج للغات، أظهرت الأساليب التي تعدل الوثائق والبرامج إمكانية إصلاح الأخطاء البرمجية. قدم البحث كذلك مفهوم "توجيه مراجعة المهارات باستخدام الأشجار القابلة للتحليل (AST)"، حيث يتم استخدام الأشجار لتنظيم متطلبات الصيانة مع المواقع البرمجية ذات الصلة.

تستطيع هذه التقنية الحد من التعديلات البرمجية إلى المواقع المعنية وتحديث التوثيق ليتناسب مع النصوص المعدلة. أدت هذه المرحلة من المراجعة إلى تحقيق مكاسب مطلقة في النجاح في إصلاح الحزم المتضررة بنسبة 21.9% للحزم الخام و27.7% للحزم المتطورة، مما يشير إلى مستويات أعلى من النجاح المتسق عبر الجولات المختلفة.