في عالم الذكاء الاصطناعي (Artificial Intelligence)، تأتي دراسة جديدة لتسلط الضوء على دور تقييم الأمان، حيث تظهر النتائج أن استخدام الفرق الآلية (Automated Red-Teaming) في الكشف عن الثغرات أثبت فعاليته أكثر من الفرق البشرية. لكن هل يعني هذا أن التقييمات البشرية أصبحت غير ضرورية؟

تعتمد هذه المقارنة على كيفية قياس قدرة المهاجمين على اكتشاف أضرار معينة محددة مسبقاً من قبل المطورين، مما يجعل أية أضرار لم يتم تحديدها مسبقاً غير مرئية لهم. وتعيد هذه الظاهرة إلى أذهاننا حالات سابقة في علم التشفير (Cryptography) وفي التجارب السريرية (Clinical Trials)، حيث كانت التقييمات الداخلية صحيحة لكن لم تقدم معلومات عن الفئات السكانية التي لم تكن جزءاً من الدراسة.

تُعرف هذه المشكلة في تقييم أمان الذكاء الاصطناعي باسم "فجوة تغطية نموذج التهديدات" (Threat-Model Coverage Gap)، وقد وُجدت في نموذج مفتوح الوزن الحالي، حيث تبرز الأضرار عند استخدام أوامر غير إنجليزية، وهو الأمر الذي يفتقر إليه المقياس الإنجليزي. ولإغلاق هذه الفجوة، نحتاج إلى مقيّمين يكون لديهم سياق نشر مختلف عن المطورين، وتُعتبر هذه الحاجة منهجية تستند إلى التغطية، مما يجعل الإطار الحالي غير كاف لإنتاج هؤلاء المقيّمين بشكل مستقل.