في خطوة مبتكرة نحو فهم العلاقة بين العقل والمحتوى المرئي، أطلق الباحثون نظام Brain-IT-VQA الذي يحول إشارات الدماغ إلى إجابات دقيقة عن الأسئلة المتعلقة بالصورة. تكمن أهمية هذا النظام في قدرته على تحليل المعلومات من التصوير بالرنين المغناطيسي (fMRI) أثناء مشاهدة الصور.

على مر السنين، واجه الباحثون تحديات عديدة في مجال إجابة الأسئلة البصرية (Visual Question Answering - VQA) باستخدام إشارات الدماغ. ورغم التقدم الملحوظ الذي تحقق مؤخرًا، لا يزال الأداء متوسطًا. لكن مع نظام Brain-IT-VQA، الذي يعتمد على نموذج Brain Interaction Transformer (Brain-IT)، تم تحسين النتائج بشكل كبير. تكمن قوة النظام في قدرته على فك شفرة رموز اللغة من النشاط الدماغي ودمجها مع نموذج لغوي للإجابة على الأسئلة البصرية.

ولجعل هذه العملية أكثر فاعلية، تم تقديم مجموعة بيانات جديدة تحت مسمى NSD-VQA. هذه المجموعة تمنح الباحثين 20 زوجًا من الأسئلة والأجوبة لكل صورة، مما يوفر تقييمًا موثوقًا لهياكل الفهم البصري بشكل أفضل، بعكس مجموعات البيانات الحالية التي تقدم عددًا قليلاً من الأسئلة الضعيفة.

عبر هذا النظام والمجموعة الجديدة، يمكن للباحثين دراسة كيف يمكن تحليل الأشكال المختلفة للمعلومات المرئية والدلالية من خلال استجابات الدماغ للإشارات الطبيعية. وتمكن هذه التقنية من تقييم إسهامات مستويات مختلفة من النشاط الدماغي حسب أنواع الأسئلة.

مع تطور هذه الابتكارات، نصل إلى عتبة جديدة في فهم الآليات التي يعمل عليها العقل. كيف ترى مستقبل إجابة الأسئلة من إشارات الدماغ؟ شاركونا آراءكم في التعليقات!