في الوقت الذي تُحرز فيه أنظمة الوكلاء (Agentic Systems) تقدمات كبيرة وسريعة، تبقى قدرة تحليل أداء هذه الأنظمة وتفسيرها تحدياً قائماً. تواجه المهام المختلفة في مجال البرمجيات درجات صعوبة متنوعة، إلا أن القليل منا يدرك تماماً ما الذي يجعل هذه المهام أصعب من غيرها.

تهدف الدراسة الحالية إلى وضع إطار قياس يسمح بالتحقيق في الخصائص الهيكلية لمهام البرمجيات ورابطها بمعدلات نجاح الوكلاء في حل المشكلات. وقد أجريت دراسة تجريبية واسعة النطاق باستخدام CoderForge-Preview، وهو أكبر مجموعة بيانات مفتوحة حول مسارات الوكلاء في عملية الترميز حتى الآن. وقد تم استخراج مجموعة من المميزات من مستويات مختلفة مثل التصحيح، ومخازن البيانات، والمطالبات.

لقد أثبتت النتائج أن صعوبة المهام يمكن توقعها بشكل كبير استنادًا إلى الخصائص الثابتة (AU C = 0.863)، وكانت الدوافع الرئيسية لذلك مرتبطة بتجزئة التصحيحات وحجم المستودع. كما أبرزت الميزات اللغوية للمطالبات دورها كعامل مساهم في المهام الأكثر صعوبة، مما يشير إلى وجود بنية مكونة من مستويات من الصعوبة.

تسهم هذه النتائج في فهم كيفية تشفير صعوبة مهام حل المشكلات في هيكل المهام نفسها، مما يفتح الأبواب لاحقًا لتقدير الصعوبة سلفاً ويؤسس لمعايير تقويم تعتمد على المحددات الصعبة لتقييم أداء الوكلاء. لذا، هل تعتقد أن هذه النتائج ستؤثر على كيفية تطوير أدوات حل المشكلات في المستقبل؟ شاركونا آراءكم في التعليقات.