في عصر الذكاء الاصطناعي، أصبح استخراج المعلومات شبه المنظمة من التقارير السريرية المعتمدة على OCR (تحويل النص من الصور) أحد العناصر الأساسية لإعادة بناء تاريخ المرضى الطبي بطريقة فعالة. وتعتبر هذه العملية معقدة، حيث تتطلب ثلاثة مهام رئيسية هي: اكتشاف المفاتيح (field-header discovery)، الإجابة على الأسئلة المعتمدة على المفاتيح (key-conditioned question answering)، والاستخراج الشامل للأزواج المفتاحية والقيم (end-to-end key-value pair extraction).

ومع أن العديد من التقييمات القائمة قد أهملت عاملاً أساسياً، وهو تمثيلات المفاتيح المتنوعة وغير المعروفة بدرجة كافية، بالإضافة إلى الضجيج الناتج عن OCR، إلا أن هذه العوامل تعقد عملية تقييم قوة النماذج في بيئات العالم الحقيقي. ولذلك، تم تقديم معيار MedStruct-S، الذي صُمم خصيصاً لتقييم هذه المهام في ظروف معروفة وغامضة.

يحتوي MedStruct-S على 3,582 صفحة تقارير سريرية موصوفة بعناية من العالم الحقيقي. وباستخدام هذا المعيار، قمنا بالتقييم بين نموذجين تمثيليين: نموذج تسميات التسلسل القائم على التشفير مع معالجة بعدية ونموذج التوليد الهيكلي القائم على فك التشفير، مما يغطي أربعة نماذج قائمة على التشفير وخمسة نماذج قائمة على فك التشفير، تتراوح بين 0.11 مليار إلى 103 مليار معلمة.

أظهرت النتائج أن النماذج المعتمدة على التشفير تفوقت في الأداء عند الإجابة عن أسئلة ما بعد التحليل ذات القيم غير الصفرية، على الرغم من أنها أصغر بكثير مقارنة بنماذج فك التشفير. وعند مقارنة النماذج من نفس الحجم، استمرت النماذج المعتمدة على التشفير في تقديم أداء متفوق.

دون التحكم في حجم النموذج، قدمت النماذج المخصصة لفك التشفير أقوى النتائج بشكل عام. تشير هذه النتائج إلى أن معيار MedStruct-S يوفر أساساً موثوقاً وعملياً لاختيار ومقارنة النماذج عبر مختلف إعدادات استخراج المعلومات شبه المنظمة.