تحسين تشخيص القلب القابل للتفسير باستخدام نماذج اللغات متعددة الوسائط المرتبطة بالمعايير

يعد مخطط كهربائية القلب (ECG) من العناصر الأساسية في تقييم صحة القلب، ولكن التنفيذ الفعلي لنماذج التعلم العميق في هذا المجال يواجه تحديات تتعلق بالقدرة على التفسير وخطر التشتت أثناء استخدام نماذج اللغات الكبيرة (Large Language Models).

على الرغم من وجود أطر العمل الحالية مثل CNN وGrad-CAM، فإن التفسيرات الناتجة غالبًا ما تفتقر إلى التأسيس الصحيح في المعايير التشخيصية المتعارف عليها. وهذا ما يقلل من مستوى الثقة في النتائج وبالتالي يضعف إمكانية إعادة إنتاجها.

في هذا السياق، اقترحت دراسة جديدة إطار عمل مبتكر يعتمد على الجمع بين المعرفة السريرية والنتائج الناتجة عن نموذج لغوي متعدد الوسائط. حيث يستخدم الإطار الذي تم تصميمه نظام شبكة عصبية تلافيفية (CNN) وGrad-CAM لإنتاج احتمالات الفئات ورسومات حرارية خاصة بكل فئة من صور ECG ذات الـ12 سلك.

وفي الوقت نفسه، يتم تجميع معلومات من كتب ECG الموثوقة والمواد الإرشادية لإنشاء دليل لفهم مخطط كهربائية القلب، والذي يتم تضمينه ككتلة معرفة ثابتة لكل عينة. وبالاستناد إلى صورة ECG وطبقة Grad-CAM والحقائق المستمدة من CNN، يُنتج النموذج اللغوي المتعدد الوسائط تقارير تشخيصية منظمة تستخدم المصطلحات والمعايير المحددة.

تظهر التجارب على مجموعة اختبار PTB-XL أن تحسين الإطار المعتمد على المعرفة السريرية يزيد من جودة التفسير المقدم في التقارير، في حين يحتفظ أيضًا بأداء تصنيفي قوي. بالتحديد، زادت متوسط ​​درجة BERTScore للتقارير المنتجة من 0.818 إلى 0.953 مقارنة بنموذج CNN+Grad-CAM+MLLM القوي، ما يشير إلى توافق أوثق مع التقارير المرجعية.

تشير هذه النتائج إلى أن دمج دليل التفسير المعتمد في عملية التوجيه المتعدد الوسائط يمكن أن يكون خطوة عملية نحو تقليل التشتت وتعزيز الإمكانية السريرية لتفسيرات ECG المنتمية للنماذج اللغوية الكبيرة، مما يجعل التشخيص القابل للتفسير للقلب أقرب إلى التطبيق الفعلي في العالم ككل.