اختبار حدود الوكلاء في مهام طويلة الأمد: انطلاق نحو مستوى جديد من الأداء

في عالم الذكاء الاصطناعي، تخطت الوكلاء الذكائيين (AI Agents) الحدود التقليدية، حيث كانت القدرة على إكمال المهام القصيرة والواضحة مسألة بسيطة. لكن مع التقدم التكنولوجي، بات من المهم أكثر من أي وقت مضى اختبار محCapabilities هؤلاء الوكلاء في المهام الطويلة الأمد.

في هذا السياق، تم تقديم معيار اختبار جديد يُدعى Long-Horizon-Terminal-Bench، الذي يهدف إلى تقييم أداء الوكلاء في 46 مهمة طويلة الأمد تغطي تسعة مجالات مختلفة، مثل إعادة إنتاج التجارب، وهندسة البرمجيات، والتحليل متعدد الوسائط، والألعاب التفاعلية، والحوسبة العلمية.

ما يميز هذا المعيار هو تركيزه على التقييم المستمر والتقدم الجزئي. فبدلاً من الاكتفاء بالنتيجة النهائية لكل مهمة، يمكن الآن للوكلاء الحصول على مكافآت لخطواتهم التقدمية، مما يعطي صورة أوضح لقدراتهم. tasks ضمن Long-Horizon-Terminal-Bench تحتاج عادةً إلى مئات الجولات من التنفيذ، وهو ما يستدعي التخطيط طويل الأمد وإدارة السياقات المعقدة.

لقد تم تقييم 15 نموذجًا رائدًا، وكشفت النتائج أن الوكلاء يستهلكون في المتوسط 9.9 مليون وحدة بيانات لكل مهمة، ما يعادل 231 جولة و85.3 دقيقة من وقت التنفيذ لكل تجربة. ليكون معيار Long-Horizon-Terminal-Bench أكثر تحديًا من المعايير السابقة، حيث يواجه حتى أقوى النماذج اختبارًا صعبًا بمعدل نجاح بحدود 15.2% عند حد المكافآت الجزئية.

ومع ذلك، تكشف هذه النتائج عن مجال كبير للتحسين. من خلال تحليل أنماط الفشل وأسباب الأخطاء، يساهم هذا المعيار في تحقيق تقدم أكبر في قدرات الوكلاء الذكائيين على إنجاز المهام الطويلة الأمد.