في عالم يزداد فيه استخدام تقنيات الذكاء الاصطناعي (AI) في مكافحة الاحتيال المالي وتقدير المخاطر الائتمانية، يظل تقييم مقاومة هذه النماذج ضد الفخاخ تحدياً كبيراً. تظهر بيانات مالية جدولة (tabular data) تحديات متعددة، مثل القيود المتعلقة بالمجال وعدم التوازن بين الفئات والقدرات غير المتناظرة للمهاجمين.

في دراسة جديدة قدمها باحثون، تم تقديم معيار مبتكر يُعرف بـ FraudBench، الذي يوفر آلية حساسة للبروتوكولات لتقييم مقاومة الفخاخ في نماذج التعلم الآلي المستخدمة في اكتشاف الاحتيال المالي.

عوضاً عن معالجة القيود كتحقق بعد التنفيذ، يقوم FraudBench بتقييم نفس مجموعة البيانات ونماذج الهجوم والدفاع باستخدام ثلاثة بروتوكولات متطابقة: الهجمات غير المقيدة، وتصفيه القدرة بعد التنفيذ، والهجمات المدمجة مع القيود المتوافقة مع النشر.

تشمل هذه الأداة أربع مجموعات بيانات مالية عامة، وتقوم بتقييم نماذج الشبكات العصبية (Neural Networks) ونماذج الأشجار (Tree-based Models) ونماذج التجميع (Ensemble Models) عبر ثلاثة إعدادات للهجوم. وتظهر النتائج أن استنتاجات مقاومة الفخاخ حساسة للغاية للبروتوكول المستخدم.

على سبيل المثال، عند تحليل بيانات قروض Lending Club باستخدام إعدادات الصندوق الأبيض (White-box Setting)، تُظهر الأبحاث أن تصفية ما بعد التنفيذ تترك 3.7 مثال قابل للتقلب فقط، بينما ينتج عن استخدام قناع تغيّر المهاجمين 2,832.3 مثال قابل للتقلب ضمن نفس ميزانية الاضطراب.

تُظهر النتائج في IEEE-CIS أن القابلية للتنفيذ وقدرة المهاجم تعتبران محورين منفصلين، بينما يُظهر التقييم في الصندوق الأسود (Black-box Evaluation) أن اختيار البروتوكول يمكن أن يُغير تصنيفات عائلات النماذج. هذه النتائج تشير إلى أن تقييم مقاومة الاحتيال يحتاج إلى الإبلاغ عن تدهور التنبؤ وقابلية الهجوم بشكل مشترك، ويجب أن تُدمج القيود المتعلقة بالمجال في توليد الهجمات بدلاً من اعتبارها فحوصات مابعد التنفيذ.

إن ظهور FraudBench يبدو البوابة نحو تحسينات كبيرة في كيفية تقييم النماذج المستخدمة لمكافحة الاحتيال المالي. ما رأيكم في هذا التطور؟ شاركونا في التعليقات!