تواجه نماذج اللغات الضخمة (LLMs) تحديات كبيرة في مجال أمن توليد الأكواد، حيث تم استغلالها في إنتاج برامج ضارة. هذا القلق أدى إلى تطوير CS-Guard، المعيار الأول الذي يقيس فعالية الحواجز الأمنية في توليد الأكواد.

يستند CS-Guard إلى مجموعة بيانات تشمل 1000 نص عالي الجودة تم تصميمه لتوليد برامج ضارة، وسبع هجمات اختراق، بالإضافة إلى سيناريو خيالي مبتكر يدمج النوايا الضارة ضمن سيناريو تطوير برمجي شرعي. يهدف هذا المشروع إلى تقييم مدى كفاءة 9 حواجز أمان عبر سبعة نماذج من نماذج اللغات الضخمة.

تشير النتائج إلى أن الأداء الحالي للحواجز الأمنية ليس بالمستوى المطلوب، حيث تصل نسبة نجاح الهجمات (ASR) إلى حوالي 50% في العديد من الحواجز عند توليد نصوص إلى أكواد، بينما تقترب هذه النسبة من 100% في حالة تحويل الأكواد إلى أكواد أخرى.

تُطرح التحديات المذكورة أعلاه، مثل سيناريو الهجوم الخيالي، الذي يحقق نسبة نجاح تصل إلى 100% في العديد من الحواجز، مشكلات كبيرة تتعلق بمصداقية تطوير البرمجيات في العالم الحقيقي. لدعم البحوث المستقبلية، يستخدم CS-Guard تصنيفًا ثلاثي الطبقات للحواجز الأمنية، مما يسمح للمطورين بتسجيل حواجزهم للتقييم.

المعيار وبياناته متاحة الآن لتشجيع تقييم المجتمع، مما يعد بمزيد من البحث والابتكار في مجال أمن توليد الأكواد.