تتطور نماذج اللغة (Language Models) بسرعة من مساعدات دردشة بسيطة إلى وكلاء ذوي قدرة على التفكير المتعدد الخطوات واستخدام الأدوات. ومع ذلك، تبقى المعايير الحالية مقيدة إلى حد كبير بالمهام الهيكلية أو الاختبارية، مما لا يلبي المتطلبات المهنية الحقيقية في العالم.

لذلك، تم تقديم معيار "OneMillion-Bench" (OMB) الجديد، والذي يضم 400 مهمة تم تنسيقها بواسطة خبراء في مجالات مثل القانون، والمالية، والصناعة، والرعاية الصحية، والعلوم الطبيعية. يهدف هذا المعيار إلى تقييم قدرات الوكلاء في سيناريوهات ذات عواقب اقتصادية.

على عكس المعايير السابقة، يتطلب "OMB" استرجاع مصادر موثوقة، وحل الأدلة المتناقضة، وتطبيق قواعد محددة حسب المجال، واتخاذ قرارات وفقاً للقيود، حيث تعتمد الدقة هنا على العملية العقلانية بقدر ما تعتمد على الإجابة النهائية.

نستخدم بروتوكول تقييم قائم على معايير لتسجيل الدقة الواقعية، والتماسك المنطقي، والجدوى العملية، والامتثال المهني، مع التركيز على التحديات ذات المستوى الخبير لضمان تمييز ملموس بين الوكلاء.

معًا، يوفر "OneMillion-Bench" منصة موحدة لتقييم موثوقية الوكلاء، وعمقهم المهني، ومؤشرًا على جاهزيتهم العملية في السياقات المتخصصة.