في ظل الزيادة المستمرة في عدد فحوصات الأشعة الصدرية (CXR)، تواجه المؤسسات الطبية تحدياً كبيراً يتمثل في الازدحام الناتج عن تصنيف الحالات. تقنيات الذكاء الاصطناعي الحالية غالباً ما تكون أدوات تصنيف ثنائية بسيطة، مما قادنا إلى تطوير شبكة فرز متعددة الأنماط (CMTN) لدعم التصنيف المتزامن لشدة المرض وكشف الأمراض مع توفير شروحات بصرية.

استندت فكرة CMTN إلى دمج مشفر بصري من نوع Swin Transformer V2 مع مشفر نصي من نوع PubMedBERT عبر تقنية الانتباه المتبادل. تم تدريب الشبكة على أكثر من 34,000 زوج من الصور والنصوص المستمدة من بيانات MIMIC-CXR-JPG، مستخدمة غيرها من المعايير لإجراء التصنيف ذي الأربعة مستويات.

أظهرت نتائج CMTN توافقاً قوياً مع المعايير المرجعية، محققة كفاءة عالية (QWK = 0.9341) في تصنيف 14 حالة مرضية، متفوقة بذلك على مجموعة البيانات الحالية. ومع ذلك، أظهر التقييم السريري المُعمى تبايناً بين حكم النموذج والأطلاع الحقيقي للأطباء، مما يعكس الحاجة إلى تقييمات أكثر دقة ومطابقة قبل الاعتماد السريري.

من خلال الاستفادة من تقنيات التعلم العميق والفهم المتعدد الأنماط، يمكن أن تمثل CMTN مرحلة جديدة في تحسين الاستجابة الطبية وتقديم رعاية صحية أفضل. لكن، السؤال المهم هو: متى سيعتمد هذا النوع من الحلول بشكل فعلي في العيادات؟ شاركونا آراءكم في التعليقات!