مقارنة مثيرة: أداء كشف رسائل البريد الإلكتروني الاحتيالية بين تقنيات التعلم الآلي

تعد رسائل البريد الإلكتروني الاحتيالية واحدة من أخطر التهديدات في مجال الأمن السيبراني، واستخدام مصنفي التعلم الآلي في كشفها أصبح شائعًا بشكل متزايد. ومع ذلك، يتم القياس عادةً على دقة الكشف باستخدام بيانات نظيفة، مما يعكس مشكلات كبيرة عند مواجهة تهديدات معدلة.

في دراسة حديثة، تم إجراء مقارنة محكومة بين نهجين في كشف الرسائل الاحتيالية: أولاً، نموذج يعتمد على تقنية TF-IDF مع الانحدار اللوجستي (Logistic Regression) كأساس، وثانيًا، نموذج DistilBERT المحسن، الذي تم تدريبه على مجموعة موحدة من 82,255 رسالة بريد إلكتروني مأخوذة من ستة مجموعات بيانات عامة. تم تقييم النموذجين تحت ثلاث ظروف: بيانات نظيفة، رسائل احتيالية اصطناعية، وتهديدات معدلة.

أظهرت النتائج تفوق كلا النموذجين في الوصول إلى دقة تفوق 98% على البيانات النظيفة، ولكن أداءهما انخفض بشدة عند الاختبار في الظروف المعادية؛ حيث انخفضت دقة TF-IDF + الانحدار اللوجستي إلى 64.00%، بينما انخفضت دقة DistilBERT إلى 63.64%. يوضح التحليل أن هناك فجوة صغيرة بين النموذجين، لا تتجاوز 0.36 نقطة مئوية، تعادل بريدًا إلكترونيًا واحدًا في مجموعة البيانات المعدلة.

استخدم الباحثون أساليب تحليل مثل LIME وSHAP لفهم كيفية اعتماد النماذج على أدلة مختلفة، لكن تبيّن أنهما يشتركان في هشاشة مماثلة. أيضًا، أظهرت التحليلات الثنائية للأخطاء أن النموذجين قد اتفقا على 54.9% من العينات المعادية، وأن كلاً منهما ارتكب عددًا متشابهًا من الأخطاء الفردية.

تظهر هذه النتائج بوضوح أن دقة النموذج على البيانات النظيفة لا تعكس بالضرورة قوته أمام التهديدات المعدلة، مما يستدعي إدراج الاختبارات المعادية كجزء أساسي من تقييم أدوات كشف البريد الاحتيالي.