في عالم تسوده الابتكارات التكنولوجية، يبدو أن وكلاء الذكاء الاصطناعي (AI Agents) أصبحوا جزءاً أساسياً من مستقبل البحث العلمي. إذ تنبأ العديد من الخبراء أنهم يمكن أن يحدثوا ثورة في إنتاجية العلماء من خلال أتمتة مراجعات الأدبيات، وتكرار التجارب، وتحليل البيانات، وحتى اقتراح اتجاهات بحثية جديدة.

لذا، كان لا بد من تقييم هؤلاء الوكلاء بشكل دقيق لتسليط الضوء على قدراتهم. لكن، للأسف، تعاني المنهجيات الحالية من عدة عيوب، منها نقص الأدوات القابلة لإعادة التكرار اللازمة للمقارنة الدقيقة، وعدم مراعاة متغيرات تعيق التقييم مثل تكلفة النموذج والوصول إلى الأدوات.

استجابة لهذه التحديات، قام الباحثون بتطوير AstaBench، وهي مجموعة أدوات شاملة تهدف إلى تحسين عملية تقييم وكلاء الذكاء الاصطناعي. تشمل AstaBench أكثر من 2400 مشكلة تغطي كامل مراحل الاكتشاف العلمي وتركز على مجالات علمية متعددة، حيث تم استلهم العديد من هذه المشكلات من طلبات فعلية لمستخدمي الوكلاء.

يتميز هذا المشروع بالبيئة البحثية العلمية الأولى التي تضم أدوات بحث مرتفعة الجودة، مما يسمح بتقييم متحكم وقابل للتكرار. بالإضافة إلى ذلك، يقدم AstaBench مجموعة من تسع فئات من الوكلاء المتخصصين في العلوم، مع مجموعة شاملة من الوكلاء الأساسيين لتسهيل قياس التقدم الحقيقي.

وقد أظهر تقييم شامل لعدد 57 وكيلًا عبر 22 فئة من الوكلاء نتائج مثيرة، حيث كشف أن الذكاء الاصطناعي لا يزال بعيدًا عن تحقيق الكفاءة المطلوبة في دعم الأبحاث العلمية. هل سيكون AstaBench الحل الذي ينتظره الباحثون؟