تُعتبر عملية فهم كيفية ترميز الدماغ للمعلومات البصرية واحدة من أبرز التحديات التي تُواجه العلماء في مجالات neuroscience وتعلم الآلة (machine learning). في الآونة الأخيرة، ظهرت تقنيات جديدة تُستخدم لإعادة بناء المحفزات البصرية، أو الصور في جوهرها، من خلال إشارات التصوير بالرنين المغناطيسي الوظيفي (fMRI). تعتمد هذه العملية على مرحلتين رئيسيتين: الأولى هي تحويل إشارات fMRI إلى فضاءlatent، والثانية هي استخدام نموذج توليدي مدرب مسبقًا لإعادة بناء الصور.

تحدد جودة إعادة البناء إلى حد كبير مدى تشابه الفضاءlatent مع بنية النشاط العصبي، وكيفية فعالية النموذج التوليدي في إنتاج الصور من هذا الفضاء. ومع ذلك، لا يزال هناك غموض حول أي نوع من الفضاءlatent يدعم هذا التحويل بشكل أفضل وكيف ينبغي تنظيمه لتمثيل المحفزات البصرية بشكل فعال.

نقدم في هذه الدراسة اكتشافين رئيسيين:

1. تشير النتائج إلى أن إشارات fMRI أكثر تشابهًا مع فضاء النص الخاص بنموذج اللغة، مقارنةً بالفضاءات المعتمدة على الرؤية أو الفضاء النصي-الصوري المشترك.
2. يجب تعديل تمثيلات النص والنموذج التوليدي لالتقاط الطبيعة التركيبية للمحفزات البصرية، بما في ذلك الأجسام وخصائصها التفصيلية والعلاقات بينها.

بناءً على هذه الرؤى، نقترح نموذجًا جديدًا يُطلق عليه اسم PRISM، الذي يهدف إلى تحويل إشارات fMRI إلى فضاء نصي منظم، ليكون تمثيلاً وسيطًا لإعادة بناء المحفزات البصرية. يشمل النموذج وحدة انتشار مركزة على الأجسام، مما يُسهل توليد الصور عن طريق تجميع الأجسام الفردية، وذلك لتقليل أخطاء الكشف عن الأجسام، بالإضافة إلى وحدة بحث عن العلاقات المعنوية التي تحدد تلقائيًا الخصائص الأساسية والعلاقات التي تتماشى مع النشاط العصبي.

تُظهر التجارب الواسعة على مجموعات بيانات حقيقية أن إطار العمل الخاص بنا يتفوق على الأساليب الحالية، حيث حقق تخفيضًا يصل إلى 8% في فقدان الإدراك (perceptual loss). تسلط هذه النتائج الضوء على أهمية استخدام النص المنظم كفضاء وسيط لربط إشارات fMRI وإعادة بناء الصور.