كشف الأسرار: كيفية فك شفرة الكلام الطبيعي من خلال نشاط الدماغ باستخدام نماذج زمنية وتوافقات متعددة الوسائط

تعد إعادة بناء ما يدركه الشخص من خلال نشاط دماغه اختبراً صارماً لمدى دلالة المعلومات التي تحملها تسجيلات الدماغ. تعتبر المرحلة الزمنية للكلام الطبيعي تحديًا مثيرًا، حيث يمتد على مدى زمني متعدِّد، لكنّ قياسات التصوير بالرنين المغناطيسي الوظيفي (fMRI) غالبًا ما تكون مشوشة وصعبة الاسترداد.

في هذا السياق، تم تقديم تقنية NOEMA، وهي مُفكِّك ترميز زمني يعتمد على الانتقال الزمني (Temporal Convolutional Decoder). تعمل NOEMA على توافق نوافذ قياسات fMRI المتتالية مع تمثيلات متعددة الوسائط (Multimodal Stimulus Embeddings). تجمع هذه التمثيلات بين النص والصوت والتمثيلات الكلامية لنفس المقطع التحفيزي، مما يمكِّن من استرداد المعلومات مباشرةً من نشاط الدماغ.

وعند تطبيق NOEMA على مجموعتي بيانات عن الكلام الطبيعي وهما Cephalonauts One و LeBel، أثبتت التقنية قدرتها على استرداد الجزء الصحيح من بين 2000 مرشح، حيث تحقق ذلك في أكثر من 42% من الاستفسارات التي لم تُستخدم في التدريب، وهو أداء يفوق بكثير نماذج فك التشفير التقليدية. تبين أيضًا أن ميزة الوقت والتوافقات متعددة الوسائط تسهم بشكل كبير في هذا التفوق.

هذا البحث يمثل خطوة كبيرة نحو فهم عميق لكيفية معالجة الدماغ للكلام الطبيعي والتفاعل البشري، ما قد يؤدي إلى تقنيات جديدة تساعد في تحسين التواصل والاتصال.