في عالم يتطور باستمرار، نجد أن تشخيص الأمراض السرطانية يتطلب دمج أدلة متنوعة من الطب الإشعاعي (Radiology) وعلم الأمراض (Pathology) والجينوم (Genomics). ومع ذلك، تركز معظم معايير نماذج اللغة الكبيرة (Large Language Models) ونماذج الرؤية-لغة (Vision-Language Models) على المهام الضيقة أو الوسائط المعزولة، مما يترك تقييم الأورام على مستوى المرضى غير مفحوص بشكل كافٍ.

ولمعالجة هذه الفجوة، تم تقديم معيار جديد يحمل اسم OncoTriad-QA، الذي يعدّ معياراً على مستوى المرضى لأسئلة السرطان الشاملة. يتضمن هذا النظام 86.1 ألف سؤال ذات دلالة عبر 9,281 حالة من مجموعة بيانات TCGA، تشمل 32 مجموعة من السرطان، مما ينسجم مع الصور الإشعاعية من (CT/MRI)، والهيستوباثولوجيا، والطفرات الجسدية، والتغيرات في عدد النسخ، وميثيل الحمض النووي، وتحليل الـ RNA الشامل، والبيانات السريرية.

تتكون التعليقات المخصصة على كل حالة من خلال خط أنابيب مدعوم بنموذج لغة يعمل على مصادر موثوقة مثل التسميات، والتقارير التشخيصية، والبروفيلات الجزيئية، بما في ذلك فحوصات المتانة الآلية ومراجعات الأطباء.

كما تم تقديم OncoVLM، النموذج المرجعي متعدد الوسائط الذي يربط الأدلة من المجالات المختلفة إلى واجهة نموذج اللغة (LLM) عبر معالجات تعلمت من البيانات. تظهر التجارب أن النماذج العامة ونماذج الذكاء الاصطناعي الطبي لا تزال محدودة في تقديم إجابات شاملة عن الأسئلة المرتبطة بالسرطان، خاصة عندما تتطلب الأسئلة دمج نتائج التصوير، والشكل النقي للورم، والأدلة الجزيئية.

بعد تحسين الأداء على معيار OncoTriad-QA، حقق OncoVLM تفوقاً متوسطه 10.7 نقطة مقارنة بـ MedGemma-4B، وذلك في دقة الاختيارات المتعددة وBERTScore-F1، مع تحسن ثابت في الأسئلة المغلقة والمفتوحة. تعكس هذه النتائج قيمة هذا المعيار في تدريب وتقييم النماذج الخاصة بالإجابة على أسئلة السرطان المعقدة.