في عالم البرمجيات المتسارع، تعد نماذج اللغات الضخمة (Large Language Models) أدوات قوية، لكنها تتطلب تنبيهات خاصة عندما يتعلق الأمر بالأمان السيبراني. قامت دراسة جديدة بالغوص في تفاصيل أداء هذه النماذج في تحليل الثغرات، من خلال مقارنة نماذج متوافقة وغير متوافقة في تصرفها ضمن سياقات الأمان المختلفة.

تتناول هذه الدراسة تحديدًا تأثير سلوك الرفض على أداء النماذج المستخدمة في مهام مثل مراجعة الشيفرة، والمحافظة على الأمان، وإصلاح الثغرات. وتمكنت الدراسة من عزل عوامل التأثير عبر مقارنة نماذج من نفس الخط، مما يوفر رؤية أعمق عن كيفية أداء هذه النماذج.

في التجربة، تم قياس الأداء بناءً على عدة معايير مثل كشف الثغرات، وتحديد الأخطاء، وتحقيق نتائج الإيجابية الكاذبة من خلال نموذجين: "Gemma" و"Qwen".

أظهرت النتائج أن النماذج غير المتوافقة أحرزت تقدمًا ملحوظًا في نسبة الصلاحية المبكرة للإصلاحات، حيث سجلت نسبة 67.8% من التصحيحات القابلة للاستخدام، مقارنة بـ 29.9% للنماذج المتوافقة. وبدوره، زادت دقة أدائها في نموذج "Qwen"، مما يشير إلى أن الجمهور يمكن أن يثق بالنماذج التي تتوفر على سلوك غير متوافق.

ختامًا، تدعو هذه النتائج القائمين على الأمن السيبراني إلى اتخاذ مقاربة شاملة عند تقييم مساعدات الأمن المبنية على نماذج اللغات الضخمة، لضمان عدم اكتفاء بمدى استجابتها بل وكذلك بمدى صحة وفاعلية مخرجاتها في سياق الهندسة البرمجية.