مع تزايد تطور وكالات البرمجة المستقلة (Autonomous Coding Agents) وقدرتها على التعامل مع مهام طويلة الأمد، لا يخفى على أحد أن هذه التكنولوجيا تحمل في طياتها إمكانيات هائلة لإنجاز تطوير البرمجيات بشكل كامل. إلا أن المعايير الحالية تظل محدودة، حيث انتقلت من تحرير أكواد محلية إلى إنشاء مشاريع من الصفر، لكنها لا تزال محصورة ضمن تطبيقات ذات هيكل بسيط.

لحل هذه المشكلة، نقدم لكم SaaSBench، المعيار الأول الذي يهدف إلى استكشاف حدود وكالات الذكاء الاصطناعي (AI Agents) في هندسة البرمجيات المؤسسية (Enterprise SaaS Engineering). تشمل هذه الأداة 30 مهمة معقدة مقسمة على 6 مجالات SaaS مختلفة، تتيح لها محاكاة مجموعة واسعة من البيئات البرمجية.

يتضمن SaaSBench 8 لغات برمجة، 6 قواعد بيانات، و13 إطار عمل، مما يتيح له تمثيل تنوع البرمجيات بشكل دقيق. كما صممنا نموذج تقييم مدمج يتسم بالوعي بالاعتمادية، وهو نموذج مصمم خصيصًا للمشاريع المعقدة التي تمتد على فترات زمنية طويلة وتتطلب ربطًا بين مكونات متعددة.

أحد النتائج الملحوظة من هذا البحث هو أن العقبة الرئيسية التي تواجه وكالات البرمجة المتقدمة ليست مجرد إنشاء أكواد منفردة، بل في تكوين ودمج أنظمة متعددة المكونات. حيث أن أكثر من 95% من فشل المهام يحدث قبل أن تصل الوكالات إلى المنطق التجاري العميق، وغالباً ما تقع النماذج ضحية للثقة الزائدة، مما يؤدي إلى التوقف المفاجئ أو الدوران في حلقات تصحيح غير فعالة.

آملين أن يكون SaaSBench بمثابة منصة اختبار عملية وصعبة لدفع تطور وكالات البرمجة الموثوقة على مستوى الأنظمة. يمكنكم الوصول إلى الشيفرة المصدرية عبر [رابط_المقال].