في عالم البيانات المتزايدة التعقيد، يوفر التنبؤ المتوافق (Conformal Prediction) ضمانات تغطية بدون الاعتماد على التوزيع، إلا أن هذه الضمانات قد تتدهور عند حدوث تغييرات في التوزيع. تسعى الباحثون في دراستهم الجديدة لتسليط الضوء على الفجوات الموجودة في أدوات تشخيص فشل النماذج قبل ملاحظتها في بيانات الاختبار.

للتعرف على هذه الفجوات، اقترح الباحثون استخدام مفهوم تركيز أهمية الميزات عبر استخدام SHapley Additive exPlanations (SHAP)، والذي يمكن أن يعمل كتشخيص مبدئي لفشل التنبؤ المتوافق في مصنفات المعززات التدرجية (Gradient Boosted Classifiers).

من خلال دراسة حالة جائحة COVID-19، أظهر البحث أن تصرفات سلاسل الإمداد يمكن أن تتعرض لتغيرات زمنية متطابقة، ورغم ذلك، تتراوح انحدارات التغطية من ضئيلة إلى كارثية. كما وجدت الدراسة أن تركيز أهمية الميزات يرتبط ارتباطًا قويًا بشدة الفشل عبر 16 مهمة متعددة الفئات في 9 مجالات.

بينما قد تكشف أجهزة الكشف عن تغيرات التوزيع عن التحولات بشكل موحد عبر المهام، فإنها لا تستطيع التمييز بين النتائج الكارثية وتلك التي تُعتبر قوية. أكد البحث ذلك من خلال تأكيد خارجي عبر تسعة مجموعات بيانات غير تتعلق بسلاسل الإمداد، حيث أظهر مستوى من الانتقال.

بناءً على ذلك، قام الباحثون بإثبات نظرية رسمية تُظهر أن حدود درجات مطابقة المجموعات التنبؤية التكيفية (Adaptive Prediction Sets) تزداد سوءًا مع تركيز الميزات تحت افتراضات واضحة، وهو ما تم التحقق منه تجريبيًا. كما أن التشخيص يكتشف الفشل المرتبط بالاعتماد المركز، وهو سمة مميزة للنماذج المعززة بالتدرج، ولكنه لا يكتشف الفشل العام الحساس الذي لوحظ في الشبكات العصبية.

في نهاية المطاف، يقدم الإطار التشخيصي قاعدة استكشافية قبل النشر مع حزمة من عدم اليقين حول عتبة التركيز.
ما رأيكم في استخدام تقنيات جديدة لتشخيص النماذج؟ شاركونا في التعليقات.