تواجه عمليات تقييم الوكلاء تحديًا رئيسيًا يتمثل في تصنيف المسارات متعددة الخطوات إلى إجابات نهائية، مما يغفل عن الأسئلة التشخيصية الأكثر أهمية للمطورين: أي إجراء أدى إلى تغيير الحالة بشكل مفيد؟ هنا يأتي دور إطار عمل "قيمة خطوة الوكيل" (Agent Step Value ASV)، الذي يعد طريقة مبتكرة لقياس تحولات الحالة.

يعمل نظام ASV على تصنيف كل إجراء مُلاحَظ بناءً على التغيير الذي يحدثه في توزيع مُقيّم قائم على الحالة. هذه الطريقة تسمح بإجراء تنبؤات مسبقة وبعدية للحالات، وتستخدم مُقيِّم LLM عديم الحالة لمنح درجات للاحتمالات المحتملة. كما تسجل جميع التقييمات بدقة ملحوظة، بما في ذلك التشخيصات الواقعية والخاصة بنماذج البحث.

خلال ستة آلاف خطوة متسلسلة عبر 100 مهمة مفتوحة للمعلومات المستخلصة استنادًا إلى نتائج مباشرة من PubMed، أثبت ASV كفاءته في تقييم 1,100 خطوة و2,200 حالة. وباستخدام بروتوكول الحالة الثابتة المشروط على الحالة، كان متوسط ​​الفارق في الدرجات -2.335 مع حركة عدم اليقين 0.000.

تقدم هذه النتائج رؤى حاسمة حول مواضع التحول في الاعتقاد، مما يساعد على تحسين التصميمات الموسعة لأداء الوكلاء في المستقبل. يسعدنا إعلان إطلاق مجموعة أدوات ASV Eval المستقلة، التي من شأنها أن تدعم مجتمع الذكاء الاصطناعي في تطوير نماذج أكثر كفاءة.

ما رأيكم في هذه التقنية الجديدة؟ هل تعتقدون أنها ستحدث ثورة في تقييم أداء الوكلاء؟ شاركونا آراءكم في التعليقات.