في دراسة حديثة، تم اكتشاف تسرب كبير في نماذج الكشف عن البيانات الخارجة عن التوزيع (OOD)، مما أدى إلى تقييم دقة منخفضة بفارق كبير عن المستوى المتوقع. وقد أظهرت التجارب الأولية تقييمًا يصل إلى 0.326، وهو أقل بكثير من المستوى العشوائي الذي يقع عند 0.5.

تم تعقب السبب الرئيسي وراء هذا الانخفاض إلى تسرب في مجموعة البيانات المستخدمة. حيث وُجد أن الفئة المعينة على أنها "OOD" كانت واحدة من الفئات التي تم تدريب النموذج عليها، مما أدى إلى تقييمها بشكل غير صحيح على أنها "مألوفة". بعد حذف هذه الفئة وإعادة تدريب 35 نموذجًا عبر مجالين مختلفين، تم تحسين الدرجة بشكل كبير حتى بلغت 0.911.

ولفهم هذا التسرب، استخدم الباحثون تقنية جديدة تُعرف بـ "بصمة التسرب"، حيث تمثلت هذه البصمة في قابلية عالية للقراءة تحت الإشراف (تقييم AUROC يقارب 1) مع تدهور في الكشف غير المراقب تحت 0.65. تم اختبار النتائج عبر مجموعة محكومة تضم 52 إعدادًا مختلفًا، وتم تحقيق حساسية نسبتها 18 من 20 ونوعية بنسبة 31 من 32 في فضاء التضمين.

عند الاختبار في الميدان، كان التحقق من 24 زوجًا قياسيًا بين OOD الشعاعي والبعيد يُظهر استجابة واحدة فقط، مما يؤكد على النقاط التي تم الوصول إليها مسبقًا والتي تحذر من البنية الأساسية القابلة للاختراق للنماذج.

في نهاية المطاف، تتيح هذه النتائج الجديدة مسارات لفهم كيفية تحسين نماذج الكشف ونظرتها إلى التحديات المستمرة في هذا المجال. هذه الدراسة لم تقدم طريقة جديدة للكشف عن البيانات الغير موزعة، بل ثبّتت أهمية تصحيح البروتوكولات وتحليل التسرب بدقة.