مع تزايد الاعتماد على الوكلاء البرمجيين (coding agents) لأداء الأعمال بشكل مستقل، بات من الضروري تقييم مدى كفاءة التعامل مع المخاطر الناتجة عن قراراتهم. وقد أظهرت الأبحاث السابقة نقاط ضعف في تقييم سلوكيات هؤلاء الوكلاء، ما جعل الحاجة إلى إطار عمل موحد ملحة.

لتجاوز هذه الفجوة، أطلق الباحثون نظام "بارانوياEval"، الذي يعد الأول من نوعه في إمكانية تقييم العمليات المتعلقة بالمخاطر في هذا السياق. يعتمد هذا النظام على إطار عمل مُعترف به يُعرف بإطار العمل الخاص بتجنب، نقل، تخفيف، وقبول المخاطر (Avoidance-Transfer-Mitigation-Acceptance) في إدارة المخاطر البرمجية.

يحتوي بارانوياEval على 200 مجموعة مهام مُسجلة بدقة، تختلف كل منها بناءً على الأدلة المستخدمة لتحديد المعالجة. يقدم النظام أيضًا مقاييس مصممة خصيصًا لتقييم الانحرافات في معالجة المخاطر واستجابة الأدلة. مقارنةً بين 8 نماذج تمثل الوكلاء، أظهرت التجارب على نطاق واسع أن نسبة المعالجات غير الضرورية للمخاطر تترواح بين 11.2% و58.7%، مما يسلط الضوء على التباين الكبير بين تكوينات الوكلاء.

علاوة على ذلك، أثبتت نتائج الدراسة أنه على الرغم من قوة القدرة على إنجاز المهام، فإن ذلك لا يضمن تقييمًا شاملاً وملائمًا للمخاطر، مما يؤثر سلبًا على تجربة المطورين. من خلال هذا البحث، يظهر أن الكشف عن الأنماط السلوكية لدى الوكلاء يمكن أن يسهم بشكل كبير في تحسين قدراتهم الإدارية للمخاطر.