في عالم سريع التغير، حيث تتزايد هيمنة الوكلاء المستقلين المعتمدين على نماذج اللغات الضخمة (LLMs)، يبرز سؤالٌ مُلح: كيف نضمن سلامة هذه الأنظمة؟ منذ أواخر عام 2023، أُدخلت مجموعة من المعايير الجديدة لتقييم السلامة، ولكن مع الأسف، تطورت هذه المعايير بشكل مستقل، مما أدى إلى تحديد نماذج تهديد غير متسقة وقياسات غير متوافقة.

في تحليل شامل، تم تدقيق 40 مقياسًا سلوكيًا للسلامة وعرض خمسة أدوات مرافقة. تمت صياغة تصنيف مكون من ستة محاور لتلك المقاييس، وتم التطبيق على مجموعة البيانات لتوضيح كيفية تشكيل الخيارات المنهجية لاستنتاجات السلامة.

تكشف مصفوفة التغطية عن تغطية واسعة للمخاطر، ولكن مع محدودية في التقارب المنهجي. كما يُظهر تحليل التصنيف وجود جوهر محدد للمعايير السلوكية يتركز في تقييمات محصورة غالبًا ما تتعلق بالسلامة فقط.

ومن خلال الفحص المشترك بين المقاييس، وُجد أن 95% من فترات الثقة تُظهر عدم وجود توافق في ترتيب الأمان عبر الأبعاد المختلفة.

تم فيها تقديم معايير جديدة للتقارير ووحدة التعريف بالبيانات، مما يعني أن المستخدمين يمكنهم الاعتماد على معلومات أدق وأكثر مصداقية لتحسين أمان أنظمتهم.

إذا كنت مهتمًا بتفاصيل هذا البحث، فلا تترد في استكشاف المزيد.