في ظل تزايد الاهتمام بنماذج اللغة العربية (Arabic Language Models - ALMs) من قبل مختلف الأطراف، تظل قضية سلامة هذه النماذج من الجوانب التي لم تُستكشف جيدًا، مما يعيق اعتمادها على نطاق واسع.

فالأساليب الحالية لتقييم السلامة تركز في الغالب على اللغة الإنجليزية، وتقوم بتقييم العربية في شكلها القياسي فقط، الأمر الذي يخفى العديد من الثغرات الدقيقة في أنظمة معالجة اللغة العربية. ومن هنا، تأتي أهمية SalamahBench، وهو معيار موحد يقدم 8270 طلبًا خطيرًا تم التحقق منها من قبل البشر عبر فئات المخاطر المختلفة، والذي تم تقديمه باللغة العربية الفصحى الحديثة (Modern Standard Arabic - MSA) وخمس لهجات عربية محلية، وهي المصرية والسورية والسعودية واللبنانية والمغربية، مما ينتج عنه 49620 حالة مرتبطة.

تتضمن الدراسة أيضًا تقديم مؤشرين تكميليين هما "تحول اللهجة" (Dialect Shift) الذي يقيس التغير الإجمالي في سلامة النموذج تحت إعادة صياغة اللهجة، و"انحراف الفئات الخاصة باللهجات" (Category-Specific Dialect Deviation) الذي يعزل الفئات الضارة التي تتباين تغيراتها عن الاتجاه الإجمالي.

عند تقييم نماذج مثل Fanar 2 وALLaM 2 وKarnak 1 تحت تكوينات متعددة للحماية، تبين أن متانة النماذج عبر اللهجات المختلفة تعتمد بشكل كبير على النموذج نفسه، وأن النتائج الإجمالية قد تخفي تباين الفئات على المستوى الفردي.

تسلط نتائج هذه الدراسة الضوء على ضرورة تقييم سلامة نماذج اللغة العربية بشكل مشترك عبر اللهجات المختلفة ومجالات الضرر، بدلاً من الاعتماد على النتائج الإجمالية أو MSA فقط. الأمر الذي يمهد الطريق لبناء نماذج أكثر أمانًا وفعالية للمستخدمين الناطقين بالعربية.