في عالم الذكاء الاصطناعي، تتزايد الحاجة إلى نماذج قادرة على التعامل مع السيناريوهات الواقعية المعقدة. هنا يأتي دور AgencyBench، المعيار الجديد الذي يقدم رؤية شاملة عن قدرات الوكلاء المستقلين (Autonomous Agents). يعتمد هذا المعيار على الاستخدام اليومي للذكاء الاصطناعي ويقوم بتقييم 6 قدرات مركزية عبر 32 سيناريو حقيقي، تتضمن 138 مهمة تتطلب استجابة دقيقة بالتحديد والشكل.

يتطلب كل سيناريو عبر هذا المعيار ما يقرب من 90 استدعاءً للأدوات، ونحو مليون توكن (Tokens)، وساعات عدة من تنفيذ المهام. هذه المعايير تجعل من AgencyBench أداة حيوية لتقييم الأداء وليس مجرد اختبار تقليدي.

أحد الجوانب المميزة في AgencyBench هو استخدام تقنية محاكاة المستخدم (User Simulation Agent)، التي توفر تغذية راجعة تكرارية، مما يتيح تقييم الأداء بشكل تلقائي. بالإضافة لذلك، جرت تجارب تظهر أن النماذج المصادر المغلقة تتفوق بشكل ملحوظ عند مقارنتها بالنماذج المصادر المفتوحة، حيث سجلت النماذج المغلقة نسبة 48.4% مقابل 32.1%.

استخلص البحث أيضًا تفاوتات ملحوظة بين النماذج في كفاءة الاستخدام، وتصحيح الأخطاء، ويفتش عن كيفية تأثير البيئة التي يعمل بها الوكيل على الأداء. ونجد أن النماذج الاحتكارية (Proprietary Models) تقدم أداءً متفوقاً ضمن منظوماتها الخاصة مثل Claude-4.5-Opus عند استخدام Claude-Agent-SDK. في حين أن النماذج المفتوحة المصدر تُظهر أداءً متفوقاً في مناسبات معينة، مما يدعو إلى التفكير في تحسين الأداء بناءً على الأطر التنفيذية المحددة.

إن AgencyBench ليس مجرد معيار؛ بل هو نقطة بداية لفهم المستقبل المعقد للوكلاء المستقلين وكيفية تحسين نماذجهم بالتوازي مع الأطر المستخدمة. لمزيد من المعلومات، يتم إصدار المعيار والأدوات الخاصة بالتقييم عبر موقع [AgencyBench على GitHub](https://github.com/GAIR-NLP/AgencyBench). هل تعتقد أن AgencyBench سيغير قواعد اللعبة في الذكاء الاصطناعي؟ شاركونا آرائكم في التعليقات!