تعد وكالات الذكاء الاصطناعي التي تُستخدم في الإنتاج محوراً أساسياً في عالم التقنية الحديث، حيث تُقيّم بشكل مستمر لتتناسب مع تطورات السوق واحتياجات المستخدمين. ولكن، قد تكون تلك التقييمات مكلفة ومعقدة، مما يستدعي بحث طرق فعّالة لتحسين عمليات التقييم.

في دراسة نشرت على arXiv، تم فحص كيفية تقييم وكالات التحليل التي تخدم عشرات الآلاف من المستخدمين النشطين شهرياً. استخدم الباحثون 574 تجربة تاريخية تم تقسيمها زمنياً إلى فترات معايرة وفترات محتفظ بها، وقاموا بدراسة عدة طرق مثل العينة العشوائية، التخزين التاريخي، والمجموعات التمثيلية الثابتة.

أظهرت نتائج الدراسة أن استخدام اختبار متعدد الأبعاد (2PL adaptive testing) يحقق أفضل دقة إجمالية. حيث أن تنفيذ 200 سؤال، بما يمثل 38.5٪ من قضاء كامل، أسفر عن معدل خطأ مطلق بحجم 1.03.

ومع ذلك، تم تطبيق مجموعات ثابتة مصنفة حسب الصعوبة بسبب بساطتها التشغيلية. وتبين أن هذه الاستراتيجيات يمكن تطبيقها على خمس عائلات أخرى من الوكلاء وتبقى مستقرة حتى مع فترات المعايرة القصيرة التي لا تتجاوز اليوم الواحد.

استندت الدراسة إلى خبرة تنفيذية حقيقية، وقدمت توصيات عملية لتقييم الوكلاء في الإنتاج بشكل متكرر، مما يوفر رؤى هامة للمهنيين في هذا المجال. تُظهر هذه النتائج كيف يمكن للابتكار في أساليب التقييم أن يساهم في تعزيز فعالية وكالات الذكاء الاصطناعي.