تتقدم النماذج اللغوية متعددة الوسائط (Multimodal LLMs) بسرعة هائلة في تقديم أداء متميز في مجالات التفكير العلمي، لكن حتى الآن، كانت معظم الدراسات تعتبر الإدراك والتفكير كعملية واحدة قابلة للقياس. ولتسليط الضوء على الفروق الحقيقية بين هذين المجالين، تم إجراء تجربة تشخيصية تتكون من خمس مهام عبر اختبارات الفيزياء والهندسة، مما يسمح بعزل الأخطاء الناتجة عن الإدراك، أو التفكير، أو كليهما.

وقد أظهرت النتائج أن عدم قدرة النماذج على تفسير الرسوم البيانية بشكل صحيح يؤثر سلبًا على الأداء، حتى في الحالات التي يمكن للنماذج حلها عن طريق النصوص فقط. بينما لوحظ أن دقة الأداء تتحسن عندما يتم استخدام تسميات تمت كتابتها بواسطة البشر بدلاً من الصور الخام. في حالات معينة، كانت استعادة الأداء تحت التسميات المصححة مرتفعة بالنسبة لبعض النماذج، مما يتيح تمييز الفشل الناتج عن الإدراك عن نقاط الاختناق الفعلية في التفكير.

تشير النتائج إلى أن نوع خطأ التفكير الذي يتبع فشل الإدراك يعتمد على المجال: فالمشاكل في الفيزياء تتحول إلى أخطاء في العمليات الحسابية، بينما تتحول المشكلات في الهندسة إلى سوء تطبيق مفاهيم. وعلاوة على ذلك، رغم التدريب المكثف على العلوم والقدرات المعرفية، وجد أن نموذج InternS1-mini يتجاوز مخرجات النموذج الأضعف تجريبيًا في كل مهمة، مما يبرز أهمية فهم العوامل المساهمة في الفشل في التفكير.

الهجمة على حدود الأدراك والتفكير في النماذج متعددة الوسائط تكشف عن تحديات عميقة في فهم الذكاء الاصطناعي وتوسع تطبيقه في مجالات مختلفة. ما رأيكم في هذه التطورات الجديدة؟ شاركونا في التعليقات.