كيف تجعل النماذج اللغوية صورنا أكثر وضوحاً في أدمغتنا؟

في دراسة مبتكرة تم نشرها على منصة arXiv، تم تناول العلاقة بين العناوين المعطاة للصور وردود فعل الدماغ في مناطق الإدراك البصري العالي. يهدف هذا البحث إلى فهم العوامل التي تجعل النماذج اللغوية (Language Models) فعالة في التنبؤ باستجابة الإنسان للصور الطبيعية.

تركز الدراسة على تقييم مجموعة مشتركة من الصور، مع مراعاة ستة أنواع مختلفة من العناوين، بما في ذلك العناوين التي أنشأها الإنسان وتلك التي تم توليدها بواسطة آلات. وقد تم اختبار هذه العناوين باستخدام خمسة نماذج لغوية مختلفة، تشمل نماذج استطاعت التنبؤ بالكلمات التالية، بالإضافة إلى نماذج مُعَدَّلة لأداء مهام دلالية.

أظهرت النتائج أن العناوين التي أنتجتها الآلات كانت قادرة على التنبؤ بشكل ملحوظ باستجابة الدماغ، بل وقد تفوقت على العناوين البشرية. كما أظهرت الدراسة أن النماذج الممثلة للنصوص تجاوزت في أدائها تلك الأنموذجية التوليدية، وهذا الاتجاه استمر حتى عند تقييم توافق السلوك مع أحكام تشابه الصور.

علاوة على ذلك، أوضحت تحليلات تمثيلات العناوين من طبقات النماذج المختلفة أن فعالية التنبؤ باستجابة الدماغ تزيد عند عمق شبكة متوسط، وهي المرحلة التي تبرز فيها البنى الدلالية والنحوية. باختصار، أن النتائج تشير إلى أن كل من محتوى العناوين المستخدمة والنموذج اللغوي تؤثر بشكل فعال على الأداء في نمذجة ردود الفعل الدماغية والسلوكية، مما يجعل من تمثيلات العناوين أداة مفيدة لدراسة الإدراك البصري العالي.