يتزايد استخدام وكيل نماذج اللغات الضخمة (LLM) مع إضافة مهارات جديدة له، ومع ذلك، تبقى طرق تقييم هذه المهارات محدودة. حيث تعتمد معظم المعايير المُعتمدة على قياس معدل النجاح قبل وبعد إضافة المهارة، متجاهلة التأثيرات السلوكية العميقة التي قد تحدث. هنا تظهر تقنية التدقيق المعرفي البديل (Counterfactual Trace Auditing - CTA) كأداة مبتكرة لقياس كيفية تغيّر سلوك الوكيل بتأثير المهارة.

تتمثل منهجية CTA في إجراء مقارنة بين أداء الوكيل مع المهارة وبدونها على نفس المهمة، وتقسيم أنماط الأداء إلى مراحل مستهدفة، ليتم مطابقة هذه المراحل. يتم بعد ذلك إنتاج ملحقات موحدة تسمى أنماط تأثير المهارة (Skill Influence Pattern - SIP)، والتي تصف التأثير السلوكي للمهارة بأكثر من مجرد نتيجة المهمة.

عند تطبيق CTA على مجموعة اختبارات SWE-Skills-Bench بمساعدة Claude، تم اكتشاف فجوة تقييم واضحة. فقد زاد معدل النجاح بمقدار 0.3 نقطة مئوية فقط، مما يشير إلى تأثير غير كبير في المجمل. ومع ذلك، تم تحديد 522 حالة SIP في سجلات الأداء المقارنة، مما يشير إلى أن المهارات تعيد تشكيل سلوك الوكيل بشكل ملحوظ حتى في الحالات التي لا يظهر فيها تحسن كبير في معدل النجاح.

أظهرت التدقيقات أيضًا عدة تأثيرات متكررة لا يستطيع معدل النجاح كشفها، مثل نسخ القوالب الحرفية، وإنشاء عناصر غير مرتبطة بالمهمة، والتخطيط الزائد، وتعافي المهام. وتظهر النتائج ثلاثة ملاحظات رئيسية: 1) تتركز آثار المهارات في المهام ذات الأداء الأساس المرتفع، رغم أن معدل نجاحها مُشبع بالفعل. 2) تُظهر المهام ذات الأداء الأساس المعتدل أكبر مكاسب قابلة للاسترداد، ولكن بتكلفة توكنز أعلى. 3) يمكن تحديد نوع SIP السائد حسب مجموعة الأساس، حيث تتشابه أنماط التأثير السطحي في المهام ذات الأداء المرتفع، بينما تكون الاستجابات على الحافة أكثر شيوعًا في المهام المتوسطة والضعيفة.

إن هذه الاكتشافات تعيد تحويل ملاحظات الفشل غير الرسمية إلى قياسات سلوكية قابلة للتكرار، مما يُعد خطوة هامة نحو تحسين فهمنا لتأثير المهارات بشكل أعمق.