في خطوة مبتكرة نحو تحسين تشخيص الأورام ومعرفة البيئات الدقيقة (Microenvironment) لها، يظهر نموذج SegTME-UNI2 كإطارٍ موحد يقدم حلًا يتجاوز الحدود التقليدية. يعتمد هذا النموذج القائم على النماذج الأساسية على UNI2-UPERHOVER، وهو نموذج سريع مزدوج الرأس يجمع بين نموذج UNI2-H الأساسي لأبحاث أمراض السرطان، المدرب على أكثر من 100 مليون قطعة من 100 ألف شريحة.

يتضمن هذا النظام استخدام اثنين من مفككات الشفرات لتقديم:
- تصنيف سِتّ فئات خلوية.
- نتائج تفصيلية لتقدير التباين الأفقي والرأسي للخلايا.

واحدة من التحديات الكبيرة هي نقص البيانات المعلَمة على مستوى البيكسل من المخازن الكبيرة في العالم الحقيقي، واستجابةً لذلك، يقوم نموذج UNI2-UPERHOVER بإجراء منهج تدريجي مكون من ثلاث مراحل لتهيئة البيانات المظللة. يتم تدريب النموذج في كل مرحلة على تجارب جديدة دون نقل الأوزان، مما يسهم في تحسين جودة المخرجات.

كما يقوم بتحويل النتائج إلى بيانات مهيكلة باستخدام JSON ويتم تمريرها إلى نموذج BioNeMo GPT من NVIDIA لتوليد تقارير سريرية تفسيرية عن البيئات الدقيقة للأورام، وهو ما يساهم في تقديم معلومات دقيقة للأطباء للمساعدة في اتخاذ القرارات العلاجية.

علاوةً على ذلك، تم إخراج مجموعة بيانات TCGA-UT المدربة بالبيانات المُظللة ونموذج UNI2-UPERHOVER بشكل علني لدعم بحث واسع النطاق في مجال دراسة البيئات الدقيقة والعلاقة المكانية بين الخلايا.

تدل التجارب الأولية التي أجريت على مجموعات بيانات PanNuke وTCGA-UT على إمكانية تنفيذ هذا الإطار بكفاءة وثبات.