في عالم جديد من الذكاء الاصطناعي، يسعى الباحثون لتقييم وكيل البرمجة (Coding Agent) بطرق أكثر ملاءمة وواقعية. تعرض دراسة جديدة جمع 4,782 جلسة من تفاعل المهندسين البرمجيين مع بيئات التطوير JetBrains، حيث أطلق الباحثون على هذه الجلسات اسم 'جلسات الإنتاج' (Production Sessions).

تجدر الإشارة إلى أن وكيل البرمجة يعكس تفاعلات المستخدم، لذا قام الباحثون بتحليل الجلسات التي تحتوي على ثلاث رسائل على الأقل من المستخدم، وهي تشكل حوالي 33% من العينة. هذه الجلسات الطويلة تختلف بشكل ملحوظ عن المهام القياسية التي تعتمد على مسائل محددة، حيث تتنوع الطلبات بين مختلف أنواع المهام: الأسئلة حول شيفرة المشروع، والتخطيط، والمراجعة، وإعادة الهيكلة، والتنفيذ. يقدّر الباحثون أن التفاعل بين التفريضي والواقعي ليس ثابتًا، مما يعني أنه لا يمكن تعميم توزيع التفاعل بشكل فردي.

لتوجيه التقييم نحو حال الاستخدام المستهدف، يقدم الباحثون منهجا بعنوان 'SWE-TaskFlow'. هذا الأسلوب يحافظ على المهام المحددة والاختبارات مع توجيه التفاعل نحو تدفق العمل المستهدف عبر تقسيم المطالبات وضمان وضع مُستودعات قابل للتحقق. يتم استخدام ما يُعرف بمؤشر توافق تدفق العمل (TaskFlow Alignment Score - TFAS) لاختيار بين المسارات التي ينتجها الوكيل.

كجزء من تجربة أولية مع 700 مهمة من برنامج SWE-Bench، تم التوصل إلى أنه عند حل المهمة بشكل متسلسل على عدة خطوات، يزيد تكاليف الوكيل تقريبًا بمقدار الضعف دون حدوث تغيير ثابت في معدل الحل. يتضح أن البروتوكول التفاعلي نفسه هو بُعد مهم في التقييم، مما يدعو إلى إعادة التفكير في كيفية قياس أداء وكلاء البرمجة.