في عالم الذكاء الاصطناعي، يتزايد استخدام نماذج اللغات (Language Models) بشكل متسارع، مما يجعل سلامتها قضية حرجة. فمع تراجع خطر النواتج الضارة بفضل التقدم في توافق النماذج (Alignment)، إلا أن فرص حدوث سلوكيات سلبية تبقى متواجدة خلال الاستعلامات اليومية التي قد تصل إلى مليارات.

في هذا السياق، قدم الباحثون طريقة جديدة ومبتكرة لتقدير خطر النواتج الضارة بشكل أكثر فعالية. بدلًا من استخدام الطريقة التقليدية الذي تعتمد على أخذ عينات عشوائية من النماذج، تم اعتماد تقنية تسمى "العينات المهمة" (Importance Sampling)، والتي تتيح إنشاء نسخ غير آمنة من النموذج المستهدف. هذه النسخ تعزز من الاحتماليات الضارة، مما يساعد في تقليل عدد العينات المطلوبة بشكل كبير.

وفقًا للنتائج، يمكن تقدير احتمال النواتج الضارة بمعدل 10^-4 باستخدام فقط 500 عينة، وهو ما يعد توفيرًا هائلًا مقارنة بالطرق الأخرى التي تحتاج إلى 10-20 مرة أكثر من العينات.

علاوة على ذلك، تسمح تقديرات الخطر بالكشف عن مدى حساسية النماذج للتغيرات في المدخلات، مما يساعد في توقع المخاطر عند نشرها. تظهر هذه الأبحاث أن تقدير الأحداث النادرة يعد أمرًا بالغ الأهمية وهو أمر قابل للتنفيذ بشكل فعال، مما يفتح آفاق جديدة للأمان وضمان الاستخدام الآمن لنماذج اللغات في المستقبل.