في عالم يتسارع فيه التطور التكنولوجي، تزداد أهمية تأمين الأنظمة ضد الثغرات الأمنية، وخصوصًا تلك المعروفة بأسماء N-day. تقدم أحدث الأبحاث رؤية مثيرة حول فعالية أدوات التحديث الآلي للثغرات الأمنية. خلال هذه الدراسة، تم وضع معيار جديد تحت مسمى Porting Benchmark، الذي يتضمن مجموعة بيانات من 1,234 حالة لتحديث الثغرات عبر إصدارات ومتفرعات ومستودعات مختلفة.

على الرغم من ارتفاع نسب النجاح التي تقاريرها بعض الأدوات لأكثر من 80% في ظروف متجانسة، إلا أن هذه التقييمات لا تعكس بالضرورة الواقع العملي الذي قد يتطلب دقة أعلى واستجابة فعّالة في ظروف متنوعة. تم اختبار خمس أدوات تتضمن تحليل البرامج وتحفيز نماذج اللغات الضخمة (Large Language Models) بموجب معايير موحدة. أظهرت النتائج أن التقييم المتماشي مع هذه المعايير يُعدّل من مشهد الأداء الظاهر، إذ استمر أداء PortGPT وTSBPort في التفوق على بيانات النسخ المتماثل، بينما تردّى أداء FixMorph وMystique بشكل ملحوظ.

يُظهر البحث أيضًا أن الأداء يتدهور بشكل حاد مع التحديثات المعقدة هيكليًا، حيث ينخفض معدل النجاح من 85.2% للحالات البسيطة إلى 24.0% للحالات الأكثر تعقيدًا. تم تحديد أربع فئات رئيسية لمسببات هذه التحديات، بما في ذلك نقص الوعي بواجهات البرمجة المستهدفة والتعارضات السيمانتية بين الإصدارات.

علاوة على ذلك، تم تقييم مجموعة فرعية من 45 حالة تم التحقق منها، مما أظهر أن الدرجات المرجعية لا تعكس بدقة تكيفات الهدف الأصعب، وأن التنفيذ العملي يكشف عن فشل في التintegrasi. تعتبر عملية تحسين الاستجابة الاستكنائية محدودة لكنها تقدم انتعاشًا ملحوظًا على الحالات الأصعب.

يمكن أن تكون هذه الاكتشافات نقطة انطلاق لتصميم أدوات الجيل القادم، والتي ستعمل بشكل أفضل في جميع الظروف والمعايير.