اختبار كفاءة نماذج اللغات الضخمة متعددة الوسائط في فهم التصورات العلمية

في عصر تتزايد فيه الاعتماد على الذكاء الاصطناعي لفهم التصورات العلمية، أصدر فريق بحثي دراسة مُلفتة توضح أداء نماذج اللغات الضخمة متعددة الوسائط (MLLMs) في تقييم فهم التصورات العلمية. تناولت الدراسة ستة من هذه النماذج، بما في ذلك ثلاثة نماذج مغلقة المصدر وثلاثة مفتوحة المصدر، وقامت باختبارها عبر استبيان يتضمن 49 سؤالاً مرتبطاً بـ 18 تصوراً علمياً.

نتائج الدراسة، التي جُمعت من 485 مشاركاً بشرياً، تُظهر أن قدرة هذه النماذج على فهم التصورات العلمية ليست موحدة. رغم تفوق نموذج Gemini، الذي أظهر أداءً أعلى من المتوسط البشري، لا تزال النماذج المفتوحة المصدر تتخلف عن هذا المستوى. كما أظهرت الدراسة أن الأداء يختلف بشكل كبير حسب التقنيات والمهام، حيث كان الأداء الأفضل في مجالات مثل الرسم العلمي والفهم المكاني، بينما كانت التحديات واضحة في التصورات المعتمدة على القوام وتقديرات الكمية.

تظهر التحليلات أن هناك فشلاً متكرراً في المهارات الدقيقة لتقدير الكمية وتفسير اتجاهات الحركة، مما يبرز الحاجة إلى تحسين واستخدام معايير جديدة لتقييم أنظمة الذكاء الاصطناعي متعددة الوسائط. يُمكن الإطلاع على كود الدراسة ونتائج النماذج عبر الرابط [https://github.com/patdmp/mllm-scivis-lit-benchmark].

ما رأيكم في قدرة هذه النماذج على فهم التصورات العلمية؟ شاركونا آرائكم في التعليقات!