في عالم الذكاء الاصطناعي، يظل البحث والتطوير مستمرين لتلبية احتياجات التحليل العلمي المتزايدة. مع التقدم الملحوظ في نماذج اللغات الكبيرة (Large Language Models)، أتيحت الفرصة لتطوير أنظمة وكيلة يمكنها تحويل الأوامر الطبيعية إلى مهام تحليل علمي متقدمة. ومع هذا التقدم، برزت الحاجة إلى معيار موثوق لتقييم هذه الأنظمة الناشئة في بيئات تحليل علمية متعددة الخطوات.

هنا يأتي دور SciVisAgentBench، وهو معيار شامل وقابل للتمديد مصمم خصيصًا لتقييم وكلاء تحليل البيانات العلمية. يعتمد هذا المعيار على تصنيف منظم يشمل أربعة أبعاد رئيسية: مجال التطبيق، نوع البيانات، مستوى التعقيد، ونوع العرض المرئي. يتضمن المعيار حاليًا 108 حالة تم إعدادها من قبل خبراء، تغطي سيناريوهات متنوعة في التصوير العلمي.

لضمان تقييم موثوق، تم تطوير خط أنابيب تقييم مركّز على النتائج متعددة الوسائط، والذي يجمع بين تقييمات تعتمد على نماذج اللغات الكبيرة وأدوات تقييم حتمية مثل مقاييس قائمة على الصور، ومدققات برمجية، ومحققين مبنيين على القواعد، ومقيّمين خاصين بحالات معينة.

كما أجريت دراسة صلاحية بمشاركة 12 خبيرًا في مجال التصوير العلمي لفحص توافق الآراء بين حكام البشر ونماذج اللغات الكبيرة. باستخدام هذا الإطار، تم تقييم وكلاء تمثيليين في مجال التصوير العلمي بالإضافة إلى وكلاء برمجيين عامين، لتحديد معايير أداء ابتدائية وكشف الفجوات في القدرات.

يسعى SciVisAgentBench ليكون معيارًا حيًا يدعم المقارنة المنتظمة، ويساعد على تشخيص أنماط الفشل، ويعزز التقدم في الوكالات العلمية التصويرية. يمكنكم زيارة الموقع الرسمي للمعيار عبر الرابط: https://scivisagentbench.github.io.