في دراسة جديدة، يظهر أن النماذج اللغوية متعددة الوسائط (Multimodal Large Language Models - MLLMs) تتمتع بقدرة أكبر على التجانس مع نشاط الدماغ مقارنة بالنماذج الأحادية الوسائط. تتميز هذه الدراسة بتسليط الضوء على النماذج المدربة بالتعليمات (Instruction-tuned) التي تُظهر تمثيلات محددة بشكل أكبر تتوافق مع أنشطة الدماغ عند أداء مهام معينة.

تمت التجارب على استجابة دماغية باستخدام مسح التصوير بالرنين المغناطيسي الوظيفي (fMRI) خلال مشاهدة الأفلام، حيث استخدمت ستة نماذج فيديو ونموذجين صوتيين من مLLMs المدربة بالتعليمات. وكشفت النتائج أن النماذج المتعددة الوسائط المدربة بالتعليمات تظهر توافقًا أعلى مع نشاط الدماغ مقارنة بالنماذج التقليدية.

فبينما أظهرت نماذج التعلم في السياق (In-context Learning - ICL) تنظيمًا معنويًا قويًا، إلا أن النماذج المدربة بتعليمات أظهرت ارتباطًا ضعيفًا بمساحات التعلم ذات الصلة بالنصوص. هذه الاكتشافات تشير إلى وجود علاقة واضحة بين التعليمات الخاصة بالمهام والتوافق الأقوى في النشاط الدماغي.

تفتح هذه النتائج أفقًا جديدًا لفهم أعمق لكيفية معالجة الدماغ لمعلومات مماثلة في كلا النظامين. للمزيد من المعلومات يمكنك زيارة الرابط المرفق: [رابط_المقال].