تحت مسمى "خسارة في الترجمة البصرية"، قدّم الباحثون إطار عمل جديد يتيح إعادة بناء الصور من تخطيط الدماغ (EEG) باستخدام نماذج اللغة الكبيرة (VLM). تكمن أهمية هذا الإطار في قدرته على تمييز الدقة البصرية عن المعنى القابل للاسترجاع. حيث كانت إعادة البناء المستندة إلى تخطيط الدماغ تعاني من عدم الوضوح والتشويش وانخفاض التفاصيل، مما ساهم مشكلات في تقييم جودة النتائج مثل معيار SSIM وLPIPS وCLIP.

في دراسة شاملة، قام الباحثون بتحليل 6,855 زوجًا من البيانات الحقيقة للصور وإعادة البناء المستندة إلى المصادر المختلفة مثل ATM وENIGMA وBrainVis وDreamDiffusion. باستخدام أدوات تحليل دلالية ومتغيرات موحدة، أظهرت المقاييس البكسلية ارتباطًا ضئيلًا بالرغم من أن المعايير التفسيرية كانت تربط بين الأخطاء الإدراكية والدلالية.

وللتغلب على هذه التحديات، تم تقديم إطار عمل يعتمد على تقنيات واجهة الدماغ والحاسوب (BCI) يتيح لأربعة نماذج لغوية كبيرة تقييم أزواج الصور من خلال أسئلة منظمة، مما ينتج عنه مستويات توافق إدراكي دقيق (T-PAS) ومستويات توافق دلالي (T-SAS). وتجمع هذه النتائج في مقياس التماسك (BCS)، الذي حقق نتائج مثيرة للإعجاب تتعلق بتقييم الدقة، حيث تم قياس متوسط الخطأ المطلق (MAE) ل T-PAS بـ0.079 ول T-SAS بـ0.082.

نجح الباحثون أيضًا في إجراء تقييم بشري يثبت دقة الأحكام، حيث أظهرت النتائج تماسكًا عالياً بدلالة الكابا لكوهن.

هذه الابتكارات تفتح آفاقًا جديدة لتحسين دقة إعادة البناء البصرية من تخطيط الدماغ، مما يساعد على فهم أعمق للمعنى البصري وقد يتغير طريقة تفاعلنا مع أجهزة الحاسوب في المستقبل.