في عالم البرمجة المتطور، تظل الثغرات الأمنية تهدد سلامة البرمجيات. وقد أظهرت نماذج اللغات الضخمة (Large Language Models) إمكانيات كبيرة في اكتشاف الثغرات البرمجية، وخصوصاً في سياقات التوليد المعزز باسترجاع المعلومات (RAG). ومع ذلك، يبقى مفهوم قابلية التكرار والتطبيق في الأساليب المعتمدة على نماذج مغلقة أو واجهات برمجة التطبيقات (APIs) غير مستكشف بشكل كافٍ.

في عملنا، نقدم دراسة حول قابلية التكرار لإطار Vul-RAG، الذي يعتمد على آلية RAG لاكتشاف ثغرات الأكواد المصدرية من خلال تعزيز نماذج اللغات الضخمة بمعرفة ثغرات عالية المستوى. بدأنا بإعادة إنتاج النتائج في بيئة محلية تماماً باستخدام نماذج القاعدة المفتوحة التي تم الإبلاغ عنها.

ثم قمنا بتوسيع التقييم ليشمل مجموعة متنوعة من نماذج اللغات الضخمة المفتوحة، بما في ذلك النماذج المتخصصة في الأكواد، والنماذج العامة، ونماذج التفكير ذات الأحجام المختلفة. أكدت النتائج أن findings Vul-RAG قابلة للتكرار تحت نشر محلي، ولكن مع بعض الانحرافات الطفيفة.

لوحظ أن الأداء يتسطح عند دقة تقييم تبلغ حوالي 0.30، مما يعني أن النماذج لم تحقق تحسناً ملحوظاً رغم تقدمها. هذا يشير إلى أن تحسين قدرات النموذج وحدها لا تؤدي إلى زيادة كبيرة في الأداء.

نقاشنا أيضًا يشمل العواقب العملية والمقايضات بين فعالية الاكتشاف وقدرات النموذج وحجمه. يمكن الوصول إلى أدوات التنفيذ والتقييم المنشورة على هذا الرابط: GitHub. هل تعتقد أنه بإمكان نماذج اللغة الكبيرة تحقيق نتائج أفضل في المستقبل؟ شاركونا أرائكم في التعليقات.