تعتبر أنظمة البرمجيات الحديثة معقدة للغاية، حيث تتجمع الديون الفنية (Technical Debt) على مدار سنوات من التطوير. لكن مع تزايد قدرة وكلاء البرمجة (Coding Agents) على تصحيح الأخطاء، هل يمكنهم إجراء عمليات هجرة (Migrations) تلقائية بنجاح؟

للإجابة على هذا السؤال، تم تقديم SWE Refactor Bench كمؤشر جديد يقيم أداء هؤلاء الوكلاء، ويتجاوز التقييمات التقليدية التي كانت تركز فقط على دقة السلوك (Behavioral Correctness) بدلاً من التأكد من تنفيذ الهجرة نفسها. هذا الأمر كان يشكل ثغرة، حيث كان من السهل على الوكلاء نسخ التنفيذ الأصلي لجعل الاختبارات تمر، وهو ما يسمى بظاهرة "العمياء" (Blindness).

يتكون SWE Refactor Bench من 20 عملية هجرة كاملة للمستودعات، تغطي 4 أنواع من الديون الفنية. يتضمن بروتوكول التقييم ثلاث مراحل تقيم كل من اكتمال الهجرة ودقة السلوك:
1. تدقيق الهجرة (Migration Audit) للتحقق من حدوث الهجرة.
2. اختبارات السلوك (Behavioral Tests) لقياس الدقة مع مجموعة مفحوصة ثابتة.
3. تحقق وكيل (Agentic Verification) يستخدم 6 وكلاء برمجة مستقلين لإنشاء اختبارات موجهة للفروق السلوكية المخفية.

خلال 520 تجربة من 8 نماذج متقدمة و26 تكوين من نماذج الجهد، فقط 28 من 520 تجربة (5.4%) نجحت في اجتياز جميع المراحل الثلاث، و13 من المهام الـ 20 لم تحصل على أي حل معتمد، بينما حصل أفضل نموذج (claude-opus-5) على 47.0 من 100.

تكشف هذه النتائج عن أن اكتمال الهجرة ودقة السلوك قدرات متميزة: بعض التجارب احتفظت بالسلوك من خلال تخطي الهجرة وأوقفت عند تدقيق الهجرة؛ بينما غالبيتها حاولت الهجرة وكسر السلوك، وتم إيقافها عند اختبارات السلوك. تنوع أداء الوكلاء بين فئات الهجرة، إذ حصل الوكلاء على 31.4 في إعادة كتابة أدوات البناء، لكن فقط 5.6 في إعادة كتابة اللغات.

من خلال هذه الدراسات، يتضح أن SWE Refactor Bench يمثل منصة اختبار صارمة لتطوير وكلاء البرمجة القادرين على إجراء هجرات مستودعات كاملة بشكل موثوق.

ما رأيكم في تحديات تطوير البرمجيات الحديثة؟ هل تعتقدون أن التقنية ستصل لدرجة تنفيذ هذه العمليات بفعالية؟ شاركونا آراءكم في التعليقات.