أعلن الباحثون عن تطوير نظام مودا lens، وهو أداة مبتكرة مصممة لقياس تأثير توافر التقارير الطبية على حساسية الصور المستخدمة في نماذج الرؤية واللغة (Vision-Language Models). إذ يعد تقرير الأشعة أداةً قيمة يمكن أن تقدم إجابات على أسئلة سريرية معقدة, مما يصعب من مهمة تقييم ما إذا كانت هذه النماذج تعتمد أيضاً على المعلومات البصرية المتاحة.

عبر تحليل 3,199 حالة مأخوذة من قاعدة بيانات MIMIC-CXR، المستندة إلى 293 مريضاً، تم إجراء تجربة لتحديد كيف تؤثر التقارير الطبية على إجابات النماذج. واستخدم نظام مودا lens تقنية استبدال الصور المطابقة، حيث تم استبدال كل صورة بصورة من دراسة أخرى، وغالبًا لنفس المريض، مع تثبيت الأسئلة والتقارير.

أظهرت النتائج أن حساسية الإجابات التي يُنتجها النموذج انخفضت بنسبة 16.7 نقطة عندما كانت التقارير متاحة. حيث كان التغيير في الإجابات يتمثل في 4.26% مع وجود التقرير و20.94% بدونه. وقد ذُكر أن هذه التغييرات تظهر تأثيرًا مهمًا لوجود التقرير على دقة النماذج.

هذه الدراسة، التي تم عرضها على arXiv، تدعو العلماء والباحثين للتفكير في كيفية تأثير توافر التقارير الطبية على نتائج نماذج الرؤية واللغة. يمكن الاطلاع على الشيفرة البرمجية والنماذج المستخدمة من خلال رابط GitHub.

ما رأيكم في هذا التطور المثير في عالم الذكاء الاصطناعي والتصوير الطبي؟ شاركونا في التعليقات!