هل نماذج اللغات الضخمة جاهزة لاكتشافات علمية؟ اختبار جديد يقيم قدرات العلماء الذكاء الاصطناعي!

في عالم الذكاء الاصطناعي المتطور، كثرت التساؤلات حول مدى قدرة نماذج اللغات الضخمة (LLMs) على المساهمة في الاكتشافات العلمية. في أحدث الدراسات، قُدّم اختبار SDABench، الذي يهدف إلى تقييم هذه القدرات عبر ستة معايير رئيسية: التحليل الوصفي، الاستكشافي، الاستدلالي، التنبؤي، السببي، والميكانيكي، وذلك عبر خمسة مجالات علمية متنوعة تشمل البيولوجيا، الكيمياء، البيئة، الجغرافيا، والفيزياء.

يتضمن هذا الاختبار 527 حالة بيانات حقيقية و6000 حالة بيانات مصنّعة، مما يوفر تنوعًا واسعًا في صيغة الأسئلة، سواء كانت متعددة الخيارات أو مفتوحة. لكن النتائج كانت مثيرة للاهتمام؛ فقد أظهرت أن هذه النماذج تتفوق في التحليل الوصفي بينما تعاني في المهام التي تتطلب اختيار الافتراضات، أو نمذجة العمليات الكامنة، أو التفكير الميكانيكي.

SDABench لا يقتصر فقط على تقييم الأداء بل يقدم أيضًا إطار عمل لتحليل الأخطاء من خمس مراحل، مما يحدد نقاط الضعف التي تبرز فيها نماذج اللغات الضخمة. النماذج الأحدث تُظهر قدرة أكبر على التعرف على المتغيرات والخصائص ذات الصلة، إلا أنها لا تزال تواجه تحديات في اختيار الإجراءات التحليلية المناسبة وتكوين العلاقات بين المتغيرات.