في عالم الذكاء الاصطناعي، حققت وكلاء واجهة المستخدم الرسومية متعددة الوسائط (Multimodal GUI agents) نتائج رائعة على معايير البرمجيات العامة، ولكن ما زال هناك الكثير لكشفه عند التعامل مع البرمجيات العلمية الاحترافية. تأتي أهمية MatToolBench في تقديم معيار بيئي حقيقي للتقييم في مجالات علوم المواد، حيث يمتاز هذا المعيار بكونه الأول من نوعه.

يتمثل التحدي في أن البيانات الخاصة بهذا المجال غالبًا ما تكون قليلة، كما أن الواجهات المتخصصة والاتفاقيات الغير مكتوبة حول سير العمل تخلق مساحات عمياء قد تُعيق الاستفادة من الممارسات العامة للتدريب المسبق.

يشتمل MatToolBench على 204 مهمة موزعة عبر 10 أدوات علمية، حيث تشمل التقييمات ثلاث طرق مختلفة: تشغيل واجهة المستخدم الرسومية، برمجة OriginPro، واستعلامات قاعدة البيانات المعتمدة على الكود. جميعها تنفذ ضمن بيئة Windows 11، مما يمنح تقييمًا واقعيًا ودقيقًا.

تناول الباحثون التفصيل الدقيق لكل مهمة من خلال تقسيمها إلى معايير فرعية من قبل خبراء في المجال، مما يتيح تقييمًا يمكن فهمه. تستفيد عملية التقييم هذه من نتيجة F1 بمعدل مذهل يبلغ 0.98 للجزء الخاص بواجهة المستخدم الرسومية.

علاوة على ذلك، أُجريت دراسة لاتفاق آراء البشر والنماذج اللغوية الكبيرة (LLMs) للتحقق من استخدام قضاة متعدد الوسائط للتقييم الجمالي الثانوي في مهام توليد الرسوم البيانية.

ومع ذلك، أظهرت التجارب أن الأداء القوي في المعايير العامة لا ينتقل بالضرورة إلى سير العمل العلمي الاحترافي. ترجع الإخفاقات إلى المعرفة التشغيلية الخاصة بالمجال، وقلة التغطية في التدريب المسبق للبرامج العلمية، وضعف نقل المواد بين الأدوات، فضلاً عن حالات حرجة قد تظهر فقط في شكل مرئي. حتى أفضل النماذج لم تصل إلا إلى معدل نجاح يبلغ 25% في مهام واجهة المستخدم الرسومية و45% في مهام الأكواد.

تُعتبر MatToolBench بالتالي معيارًا تشخيصيًا صعبًا وبيئة اختبار حقيقية لعمليات العمل العلمية التي تعاني من نقص البيانات والكثافة المعرفية.