في ظل التطورات السريعة في مجال الذكاء الاصطناعي، طرأت فكرة جديدة لتقييم وكيل الذكاء الاصطناعي فعالية: Claw-Eval-Live. يهدف هذا المعيار إلى تقييم أداء نماذج وكيل الذكاء الاصطناعي (AI agents) في أداء وحدات عمل شاملة عبر أدوات البرمجيات، والبرامج التجارية، والبيئات المحلية.

واحدة من أبرز العيوب في المعايير التقليدية لتقييم الوكلاء كانت تجميد مجموعة المهام المخصصة عند وقت الإطلاق وتقييمها بناءً على الاستجابة النهائية فقط. لكن مع Claw-Eval-Live، يتم تقديم مسار متجدد لتقييم المهام، حيث تفصل بين إشارة متجددة تُحدّث بعصبية وفقًا لمتطلبات العمل العامة على مر الزمن، وصورة ثابتة وقابلة لإعادة الإنتاج للإصدار.

يتضمن كل إصدار من Claw-Eval-Live تسجيل 105 مهمة تتراوح بين خدمات الأعمال المُتحكم بها وإصلاح البيئات المحلية. ويتم تقييم 13 نموذجًا متقدمًا وفقًا لقواعد عامة متاحة للجمهور. وبيّنت التجارب أن التشغيل الآلي للمهام لا يزال بعيدا عن أن يكون مثاليًا، حيث لا يتجاوز أفضل نموذج النجاح في 66.7% من المهام.

تشير النتائج إلى أن أداء النماذج يعتمد بشدة على نوع المهام وسطح التنفيذ. بينما يواجه العمل الإداري وتدفق العمل عبر أنظمة متعددة صعوبات مستمرة في الأداء، يظهر أن مهام إصلاح البيئات المحلية أسهل ولكن لا تزال بحاجة إلى مزيد من الجهد.

بالتالي، توضح Claw-Eval-Live بوضوح أن تقييم وكيل العمل يجب أن يستند إلى متطلبات خارجية جديدة وإجراءات الوكيل القابلة للتحقق. فهل سيكون هذا المعيار الجديد نقطة انطلاق نحو تحسين أداء وكيل الذكاء الاصطناعي في المستقبل؟