تتزايد توقعاتنا من الوكلاء البحثيين المستقلين في مجالات العلم، حيث يُتوقع منهم البحث في الأدبيات، وتحليل الأدلة التجريبية، وتوليد الفرضيات العلمية. ولتحقيق هذه القدرات، يحتاج الذكاء الاصطناعي إلى منهجية تفكير علمي مستندة إلى الأدلة، تأخذ في الاعتبار إدراك وتكامل الأدلة قبل التوصل إلى استنتاج. ومع ذلك، أبرزت التقييمات الحالية للنماذج المتعددة الوسائط (Multimodal Models) تركيزاً ملحوظاً على دقة الإجابات النهائية فقط، مما يفتح المجال لتساؤلات حول مدى دعم تلك التوقعات بالأدلة العلمية القابلة للتتبع.

هذا هو الهدف من Sci-MMR، وهو معيار جديد مصمم لتقييم التفكير العلمي المستند إلى الأدلة، حيث يعتمد على استخدام الرسوم البيانية المنظمة لتقديم روابط بين الادعاءات العلمية، والمعرفة المستندة إلى الاقتباسات، والأدلة البصرية، والمناطق الداعمة. يتألف Sci-MMR من 235 مهمة تفكير تتطلب عدة خطوات، تغطي أربعة مجالات علمية، وتحتوي كل منها على تسعة لوحات متوسطة في المتوسط.

عند تقييم ثمانية نماذج متعددة الوسائط الرائدة، كشفت النتائج عن فوارق كبيرة، حيث زادت دقة الإجابات بنسبة تتجاوز 20% عن نسبة استعادة الأدلة الكاملة، مما يُظهر فجوة كبيرة لا يمكن تقييمها بالمحتوى الذي يركز على الإجابات فقط. لقد استطعنا أيضاً تحديد نقطتين رئيسيتين تحدان من أداء النماذج.

الأولى تتمثل في الحصول على الأدلة: حيث تكافح النماذج لاستخراج الأدلة الهيكلية الكاملة من الرسوم العلمية، مما يشكل 57.2% من حالات الفشل. ورغم أن استخدام أدوات القص أدى إلى تحسن طفيف (+4.5 نقاط)، إلا أن توفير أدلة دقيقة أدى إلى تحسين دقة النماذج حتى 37.0 نقطة، مما يُشير إلى صعوبة تجميع الأدلة من مناطق متعددة.

الثانية تتعلق بتكامل الأدلة: إذ تواجه النماذج صعوبة في تحويل الأدلة المتاحة إلى استنتاجات صحيحة، مما يُسجل 31.8% من حالات الفشل، ورغم توفير الأدلة الدقيقة، لا يحقق أقوى نموذج سوى 69.1% دقة في أصعب المهام.

تشير هذه النتائج إلى أن المعايير الحالية التي تركز على الإجابات تفرط بصورة كبيرة في تقدير قدرات التفكير المستندة إلى الأدلة لدى الوكلاء البحثيين المتعددين الوسائط.