تكمن أهمية الكشف المبكر عن سرطان الجلد، ولا سيما الملانوم، في نجاح العلاج وفعاليته. ورغم أن نماذج التعلم العميق أثبتت جدارتها في معالجة الصور المأخوذة بواسطة أشعة الجلد (Dermoscopic Images)، إلا أن اعتمادها على المعدات المتخصصة يعوق استخدامها في مختلف البيئات السريرية. لذا، يأتي هذا البحث ليقدم نظامًا جديدًا متعدّد الوسائط (Multimodal) يقدم حلولاً فعالة باستخدام الصور الفوتوغرافية التقليدية.

يسمح هذا النظام المتطور بالدمج بين بيانات الصورة والبيانات الجانبية مثل معلومات المرضى وخصائص الآفات الجلدية، مما يساهم في تحسين دقة الكشف. يعتمد النظام على شبكة عصبية متعددة الوسائط تجمع بين معالجة الصور والبيانات الجانبية، حيث يدعم نموذجًا من مرحلتين للحالات التي تحتوي على بيانات جانبية وأخرى بدونها.

تتضمن العملية ثلاث مراحل تسهم في تعزيز دقة التوقعات من خلال خوارزميات التعزيز، مما يزيد من الأداء العام للنظام. لمواجهة تحديات مجموعة البيانات غير المتوازنة بشكل كبير، تم تنفيذ تقنيات خاصة لضمان تدريب قوي وفعال.

إجراء دراسة تكرارية (Ablation Study) سمح بتقييم بنى الرؤية الحديثة، وخوارزميات التعزيز، ودوال الخسارة. وقد أظهرت النتائج تحقيق قمة لمؤشر ROC AUC الجزئي بنحو 0.18068 (مع حد أقصى قدره 0.2) وحساسية استرجاع لأفضل 15 حالة بنسبة 0.78371.

تثبت النتائج أن دمج الصور الفوتوغرافية مع البيانات الجانبية ضمن خط أنابيب منظم ومتعدد المراحل يؤدي إلى تحسينات ملحوظة في الأداء. يظهر هذا النظام المستقبل لكشف الملانوم بدلاً فعالاً عن الحلول التي تعتمد على المعدات المتخصصة، مما يجعله مناسبًا لمجموعة واسعة من بيئات الرعاية الصحية، ويسهم في تقريب الفجوة بين الممارسات السريرية المتخصصة والعامة.