في عالم البرمجة وعلوم البيانات، يعد اكتشاف الثغرات الأمنية خطوة حاسمة لضمان سلامة التطبيقات وموثوقيتها. وقد بدأت دراسة حديثة بمحاولة تقييم مدى قدرة النماذج اللغوية الكبيرة (LLMs) على الكشف عن نقاط ضعف متكررة في شيفات جافا سكريبت.

قامت هذه الدراسة بإجراء 300 عملية مسح لتحديد الثغرات، حيث تم استخدام كود متطابق وإشارات مرجعية متزامنة لتقييم فعالية هذه النماذج. النتائج الأولية كانت مثيرة للاهتمام، فهي أظهرت أن اكتشافات أمان النماذج كانت غير متسقة. على سبيل المثال، كانت الاكتشافات المبنية على مراجع محددة مستقرة نسبيًا، بينما كانت التقارير الإضافية التي قدمتها النماذج تختلف بشكل كبير بين كل عملية مسح وأخرى.

من بين 250 عملية مسح كانت هناك 161 نقطة ضعف فريدة، ولكن 80 منها ظهرت في عملية واحدة فقط من بين خمس عمليات متكررة. في المقابل، حصلت نموذج Claude على نتائج أكثر استقراراً عندما قارن مع نتائج Snyk Code، حيث تم تحديد 134 من 158 اكتشاف مرجعي في جميع الخمس عمليات.

تشير النتائج أيضًا إلى أهمية التكامل بين النماذج اللغوية الكبيرة وطرق اختبار أمان التطبيقات الساكنة (SAST) بدلاً من اعتبار أي منهما بديلاً عن الآخر. هذا الاستنتاج يقدم بوضوح ضرورة وجود نهج متعدد الأبعاد عند التعامل مع أمن البرمجيات.