كيفية تحويل الفشل إلى نجاح: تحسين استراتيجيات الإيعاز في تحليل نقاط ضعف البرمجيات باستناد إلى الفشل

في السنوات الأخيرة، غزت نماذج اللغة الضخمة (Large Language Models) عالم البرمجيات وأثبتت قدرتها الكبيرة في تحليل نقاط الضعف. إلا أن فعالية هذه النماذج تعتمد بشكل أساسي على كيفية تصميم الإيعازات. يبحث العديد من الباحثين في استراتيجيات الإيعاز، ولكن القليل منهم تناول أسباب الفشل وكيف يمكن تحسين الإيعازات بشكل منهجي.

في هذا السياق، نقدم منهجية جديدة تُعرف باسم تحسين الإيعاز المدفوع بالفشل (Failure-Driven Prompt Refinement - FDPR)، والتي تعتمد على تحليل الأخطاء المتكررة التي تواجهها النماذج. من خلال تحليل التطبيق الضعيف (Damn Vulnerable Java Application - DVJA)، حددنا أنماط الفشل المتكررة، بما في ذلك الإيجابيات الكاذبة، والسلبيات الكاذبة، عدم القدرة على القيام بالتفكير المنطقي، وتصنيف CWE الخاطئ.

تترجم هذه الأنماط إلى تحسينات مستهدفة في الإيعازات، والتي تم تقييمها من خلال مجموعة اختبارات جوليت (Juliet Test Suite) وإجراء تقييم عبر نماذج متعددة لضمان قابلية التعميم. تُظهر النتائج أن تحسين الإيعاز المدفوع بالفشل يُعزز من موثوقية التحليل القائم على نماذج اللغة الضخمة، حيث يوفر أيضاً مبادئ تصميم إيعازات قابلة لإعادة الاستخدام.

بشكل عام، تثبت هذه الدراسة أن فهم أخطاء النموذج المتكررة يمثل أساساً منهجياً لهندسة الإيعازات، مما يمكّن من تطوير أنظمة تحليل نقاط ضعف برمجيات أكثر موثوقية.