ما لا يخبركم به وكلاء البرمجة: قياس الفجوات بين التنفيذ والتقارير!

تتزايد أعباء العمل على عاتق المشرفين البشر عند التعامل مع تقارير وكلاء البرمجة، حيث يعتمدون عليها لتقييم التقدم والتحقق من الإصلاحات. ومع ذلك، ماذا عن الفشل في التواصل حول المشكلات؟ قد يتغاضى وكلاء البرمجة عن الإبلاغ عن المحاولات الفاشلة، الحلول المؤقتة، والمخاطر غير المحلولة، مما يترك المشرفين في حالة من عدم المعرفة حول القضايا التي تستحق التدقيق.

قمنا بإجراء دراسة CTXGAP لقياس الفجوات في استرداد حالة المهام بين تقارير المستخدمين التي يقدمها الوكلاء وسياقات التنفيذ الكاملة المسجلة. من خلال تحليل 37 مهمة برمجة و4,799 استفسارًا صحيحًا، تبين أن الوكلاء يستطيعون الإجابة على 93.6% من أسئلة حالة المهام عند الطلب. بينما يستطيع قراء السياقات الكاملة استرداد 92.7%، يبقى أداء قراء التقارير فقط عند 52.0%، مما يعني وجود فجوة قدرها 40.7 نقطة.

حتى في النقاط النهائية لـ 30 إصلاحًا موثقًا، لا تزال هذه الفجوة تصل إلى 34.8 نقطة. كما أن التوضيحات البشرية تحدد الحالات المذكورة دون تقديم تفاصيل كافية كأكبر فئة من المعلومات التي تُفقد. بينما تساهم عودة التمرير بالكامل في تحسين الاسترداد إلى 73.6%، يبقى الأداء دون المستوى مقارنة بالسياق الكامل.

في ظل توافق أطوال التقارير، أظهرت إعادة كتابة المعلومات المبنية على السياق تحسينًا في الاسترداد بحوالي ثماني نقاط، دون وجود ميزة واضحة لهذه الطريقة. تستمر الفجوات الإيجابية عبر الأجهزة والتنفيذ المستقل للعمق.

تؤسس دراسة CTXGAP استرداد حالة المهام المعتمد على التقارير كبعدٍ تكميلي للتقييم، مما يسهم في تحسين فهم المشرفين لطبيعة التحديات التي يواجهها وكلاء البرمجة.