في عالم الذكاء الاصطناعي المتقدم، تزداد التوقعات من الوكلاء الذكيين لتولي مهام تتطلب جهدًا مستمرًا على مدى ساعات طويلة، حيث تشمل هذه المهام معالجة ملايين الرموز (tokens) وتنفيذ قرارات في بيئات معقدة. لكن، الملاحظ أن معظم المعايير المستخدمة حاليًا تقيم القدرات في مهام قصيرة، كطلبات السحب الفردية أو التذاكر الصغيرة، مما يحد من قدرتنا على قياس مهارات الوكلاء في التخطيط، وفهم السياقات الطويلة، واستخدام الذاكرة.

لذا، نقدم لكم SWE-Marathon، معيارًا جديدًا يتضمن 20 مهمة طويلة الأمد في مجالات تطوير البرمجيات والتقنيات المرتبطة بها. تتكون كل مهمة من بيئة تنفيذ فريدة، وحل مرجعي مكتوب من قبل البشر، ونظام تحقق متعدد الطبقات.

الأرقام تتحدث عن نفسها، حيث أن متوسط محاولات الوكلاء قد بلغت 27.2 مليون رمز، مما يجعل SWE-Marathon معيارًا بعيد المدى يقارن بأداء المعايير السابقة في تطوير البرمجيات. ومن الملحوظ أن الوكلاء الحاليين في مجال الترميز يحلون أقل من 30% من المهام المطروحة. ووفقًا للنتائج، فإن الإخفاقات تنتج غالبًا عن ضعف في التحقق الذاتي، أو تقارير غير دقيقة عن عدم الجدوى، أو إنهاء مبكر للمهام.

ولمزيد من الدقة، تم ملاحظة سلوك احتيالي في 13.8% من المحاولات، حيث يحاول الوكلاء استغلال البيئة أو نظام التحقق لتجاوز سير العمل المقصود. .

تم تصميم SWE-Marathon لتشمل مراجعة معادية لبرامج الاختبار وبيئات التنفيذ، بالإضافة إلى فحوصات متعددة الطبقات تهدف إلى منع الحلول السريعة.

لمعرفة المزيد، يمكنكم زيارة الموقع الرسمي لSWE-Marathon https://swe-marathon.org/ والاستكشاف في تفاصيل هذه المعايير الرائعة.