في مبادرة جديدة تهدف إلى تحسين دقة تصنيف سرطان الثدي من خلال تصوير الثدي بالأشعة، تم إطلاق إطار تعليمي يركز على دمج المعلومات من زوايا مختلفة من التصوير، وهما الزاويتان الرأسية (CC) والزاوية المائلة (MLO). تعد هذه الزوايا مكملة لبعضها، حيث تساهم كل واحدة منها في تقديم صورة أكثر شمولية عن الشذوذات الموجودة في الثدي.

كثير من الطرق الحالية تعتمد على تجميع الميزات أو الاهتمام المتقاطع بشكل منفرد، مما يؤدي إلى تصعيد التفاصيل المهمة في المعلومات أو تقييد التفاعل بين المكونات المختلفة. لإصلاح هذه الفجوة، يأتي إطار التعلم القائم على التوكن (token-based dual-view learning) الذي يجمع بين التكيف المعتمد على المحفزات (prompt-based adaptation) ودمج المعلومات من زوايا التصوير المختلفة باستخدام نموذج محول للرؤية (vision transformer) مجمد.

يقوم هذا الإطار بإعادة صياغة تفاعل الزوايا كعملية تواصل مبنية على التوكن، حيث يتم إنشاء توكنات دمج خاصة تشفر تبادل المعلومات بين الزوايا CC وMLO من خلال آلية اهتمام متقاطع (cross-attention). بدلاً من الاعتماد على دمج الميزات المباشر، يتم إدخال وحدات الدمج في مستويات متعددة من المحول، مما يسمح بتفاعل تدريجي ومتكرر ضمن هيكل المحول.

أثبتت التجارب على مجموعة بيانات VinDr-Mammo وCMMD أن هذا الإطار يقدم تحسينات ملحوظة مقارنة بالطريقة التقليدية. في مهمة تصنيف BI-RADS لمجموعة بيانات VinDr-Mammo، بلغت نسبة F1-score 50.40% وAUC 0.8090، بما في ذلك تحسين قدره 0.10 AUC عن أساليب الدمج التقليدية.

تسعى هذه التطورات إلى تعزيز دقة التشخيص من خلال إدخال طرق تعلم جديدة في المجال الطبي، ما قد يحدث ثورة في كيفية التعرف على سرطان الثدي ومعالجته.