في عصر الذكاء الاصطناعي (AI)، أصبحت هجمات الـ Jailbreak (الهروب من القيود) عنوانًا بارزًا في الأبحاث التقنية. غير أن معظم الدراسات الحالية تعلن عن معدلات نجاح الهجمات بناءً على عدد محدود من إعدادات المعلمات، مما يثير تساؤلات حول دقة هذه التقارير في تمثيل التهديدات الحقيقية.

تظهر الأبحاث أن هجمات الـ Jailbreak تخفي مجموعة متنوعة من المعلمات الداخلية مثل قوالب الرسائل، وجولات المحادثة، والتشتت الترميزي، وغيرها. وهذا يعني أن الإبلاغ عن أداء الهجوم بناءً على أفضل إعداد فقط هو أمر مضلل، حيث يتم إغفال معلومات حيوية. نتج عن هذا الفهم أننا بحاجة إلى نهج أكثر شمولية لتقييم التهديدات.

نقترح اعتماد قياسات جديدة تُعرف بـ "مقياس حساسية المتغيرات" (Variant Sensitivity Measure - VSM) و"التغطية الشاملة" (Union Coverage - UC). يوفر VSM صورة دقيقة حول مدى انحراف معدل نجاح الهجمات من المتوسط عبر مساحة الاختلافات، بينما يقيس UC النسبة الإجمالية للتحذيرات الناتجة عن جميع الإعدادات المختبرة.

على سبيل المثال، تُظهر التجارب أن معدل النجاح لأفضل تكوين لهجوم PAIR يصل إلى 75% على نموذج Qwen3-0.6B، بينما تتجاوز التغطية الشاملة 93%. وبالمثل، بالنسبة لهجوم Bijection، يُظهر معدل النجاح 81% ولكن التغطية الشاملة تصل إلى 100% عبر جميع المتغيرات.

لذا، ندعو إلى تبني الإبلاغ عن الأداء التوزيعي وإصدار VSM جنبًا إلى جنب مع معدلات النجاح، باعتبارها معايير جديدة لتقييم هجمات الـ Jailbreak. في النهاية، هذه الممارسات ستساعد في تعزيز الأمان وتوفير معلومات أوسع للدفاع ضد التهديدات المستقبلية.