تشهد تقنيات تقسيم الصور الطبية باستخدام نماذج الرؤية واللغة (Vision-Language Models) تطورات ملحوظة في الآونة الأخيرة بفضل دمج المعلومات السريرية. ومع ذلك، لا يزال السؤال الرئيسي: ما مدى تأثير هذه المعلومات النصية فعلاً على دقة التنبؤات على مستوى البيكسل؟

في دراسة جديدة، قام الباحثون بالتحقيق المنظم في دور النصوص ضمن نماذج تقسيم الصور الطبية متعددة الأنماط. تم تحليل العديد من استراتيجيات الدمج المستخدمة بشكل شائع ووجد أن أداء التقسيم غير حساس بشكل كبير لاختيار وحدة الدمج.

لتعزيز فهم التفاعل بين الأنماط، تم اقتراح "مفكك الأدلة" (Evidence Decoupling Decoder - EDD) الذي يعتمد على التعلم العميق المشروط، حيث يعمل كأداة لتحليل التمثيلات الداخلية تقوم بتجزئة الأدلة البصرية والأدلة المعدلة بالنص خلال عملية فك الترميز، مع الحفاظ على أداء تقسيم تنافسي.

أظهرت النتائج التجريبية أن الحساسية لتغييرات النص تختلف بشكل كبير بين مجموعات البيانات المختبرة. على مجموعتي بيانات BUSI و BTMRI، أظهر حذف النص تحسناً كارثياً في الأداء، مما يدل على اعتماد النموذج الكبير على المدخلات النصية. بينما على مجموعتي ISIC و Kvasir-SEG، كان التأثير النصي طفيفًا نسبيًا.

تبين النتائج أن النص يؤثر على التنبؤات بشكل رئيسي من خلال تعديل الدلالات العامة وليس من خلال الموقع المكاني المستقل، وتختلف العناصر الدلالية المحددة التي تؤثر على حساسية النص بناءً على مجموعة البيانات. هذه النتائج تقدم فهمًا أعمق لتفاعل الأنماط في تقسيم الصور الطبية متعددة الأنماط وتوفر رؤى عملية لتصميم النماذج في المستقبل.

هل ترى أن المعلومات النصية تلعب دورًا أكبر في العمليات الطبية بالذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات.