أطلق باحثون مؤخرًا دراسة مبتكرة بعنوان "سنتر بنش" (CentaurBench)، حيث يتم تقييم نماذج اللغات الضخمة (Large Language Models) ليس فقط على قدرتها على أتمتة المهام، بل أيضًا على مدى قدرتها في تعزيز أداء الوكلاء الإنسانيين أو الأنظمة الأخرى.

تُعتبر هذه الدراسة تطورًا مهمًا في مجال الذكاء الاصطناعي، حيث تشدد على أنه ليس كل نموذج ينتج أفضل مخرجات هو الأفضل في دعم وكيل آخر. ففي إطار العمل الجديد، تم تقييم النماذج عبر سبع مهام حقيقية، حيث يقوم نموذج المساعد بكتابة نصوص للمساعدة لنموذج عامل ذي قدرة محدودة، والذي يقوم بدوره بإنتاج النتيجة النهائية.

في وضع الأتمتة، يقوم المساعد بإنتاج المخرجات مباشرة دون تدخل بشري. لكن النتائج أظهرت علاقة متواضعة بين ترتيبات النماذج في حالتي المساعدة والأتمتة، حيث يخسر الفائز في الأتمتة في خمس من أصل سبع مهام في مجال تعزيز الأداء. والأسوأ من ذلك، أن النموذج غير المدعوم تفوق على جميع حالات المساعدة في ثلاث مهام، فيما قدم نموذج واحد فقط إرشادات أفضل من عدم وجود إرشادات.

تشير هذه النتائج إلى أن قدرة الأتمتة تعتبر مقياسًا غير كامل لجودة المساعدة، مما يستدعي تطوير معايير تقييم جديدة تستند إلى الأدوار التي تلعبها النماذج في أنظمة الذكاء الاصطناعي والتفاعل بين البشر والآلات.