في عصر الذكاء الاصطناعي، أصبحت نماذج اللغات الضخمة (Large Language Models) جزءًا لا يتجزأ من عملية تطوير البرمجيات. لكن ما مدى نجاح هذه النماذج في تلبية متطلبات المستخدمين؟ دراسة جديدة تم طرحها مؤخرًا تحت عنوان " معيار موحد لحل المشكلات" والتي تُعرف باسم SWE-RPG، تسلط الضوء على الفجوة الموجودة بين قدرة الوكلاء البرمجيين ومطالب المستخدمين.

تتزايد استخدامات الوكلاء البرمجيين المدعومين بنماذج اللغات الضخمة لتعديل مستودعات الكود. ومع ذلك، فإن المعايير الحالية لتقييم هذه المستودعات تركز فقط على ما إذا كان التحديث النهائي قد اجتاز الاختبارات. في الواقع، تلبية طلب المستخدم تتطلب سلسلة طويلة من التفكير والترابط بين القرارات. لذا، قام الباحثون بتطوير SWE-RPG كمقياس نجاح شامل يشمل تقييم التحديثات التنفيذية مع مرجعيات موثوقة لتوضيح المتطلبات وتخطيط التنفيذ.

يشتمل SWE-RPG على 163 مهمة مستمدة من 31 مستودع للكود بلغة بايثون وجافا، تضمنت 113 إصلاحًا للأخطاء و50 إضافة ميزات جديدة. نتيجةً للاختبارات التي أُجريت على ثلاثة وكلاء برمجيين مثل Claude Code وCodex، وجد الباحثون أن نسبة نجاح تحقيق الطلبات لم تتجاوز 31.5%، مما يُظهر أن الوكلاء لا يزالون يواجهون صعوبات في تنفيذ المهام بدقة.

تشير النتائج إلى أن أحد العوامل الرئيسية وراء هذه النسبة المنخفضة هو عملية استرداد المتطلبات الضمنية، التي تُعزى إلى 24.5% - 46.0% من محاولات الوكلاء. هذه الإحصائيات تُبرز أهمية تحسين هذه العملية لتطوير أداء الوكلاء البرمجيين بشكل كبير.

تفتح هذه النتائج الباب أمام مزيد من البحث في كيفية تحسين استجابة الوكلاء البرمجيين للمتطلبات الدقيقة من خلال تحليل التصميم والتنفيذ. يمكنكم الاطلاع على البيانات وشفرة التقييم من خلال زيارة الرابط: [رابط_المقال].