في عالم يتزايد فيه استخدام نماذج اللغات الضخمة (LLMs) للكشف عن الثغرات، يبقى سؤال موثوقية هذه النماذج تحت صياغات التلميحات المختلفة من دون إجابة شافية. ومع ظهور **PromptAudit**، يصبح لدينا إطار عمل متكامل يُشخص تأثير التلميحات ويعكس مدى دقتها في رصد نقاط الضعف.

**ما هو PromptAudit؟**
PromptAudit هو إطار تقييم مُعتمد يتحدى نماذج اكتشاف الثغرات من خلال عزل تأثيرات التلميحات عن طريق تثبيت البيانات والتشفير والتحليل، مع تغيير استراتيجية التلميحات فقط. من خلال تطبيق خمس استراتيجيات تلميحية على خمسة نماذج وزنها مفتوح على 1,000 نقطة ضعف مع عينة من 6,074 كوداً تغطي 16 لغة برمجة، تم تقييم الأداء بناءً على معايير مثل الدقة، الاسترجاع، التوقف، التغطية، وF1 الفعّالة.

**نتائج مثيرة للاهتمام**
أسفرت النتائج عن استنتاجات مدهشة، حيث أظهرت استراتيجيات تلميحات السلسلة المعتمدة (chain-of-thought prompting) أداءً مهماً وعاملاً على جميع الأصعدة. على الرغم من ذلك، تبين أن تلميحات قليلة التجارب (few-shot prompting) تقدم مزايا تعتمد على النموذج، وهي واضحة بشكل خاص مع النماذج الحساسة تجاه التلميحات. ومن ناحية أخرى، كانت تلميحات السلاسل التكيفية (adaptive chain-of-thought) مائلة لتقليل استرجاع المعلومات، مما يؤدي إلى تقليل الفعالية الإجمالية.

تظهر هذه النتائج بوضوح أن سلوك اكتشاف الثغرات يتحدد بشكل مشترك من قبل النموذج واستراتيجية التلميحات، مما يجعل حساسية التلميحات خاصية ضرورية يجب تصنيفها بوضوح خلال مراحل التقييم والتطبيق.

**في الختام**، بفضل ظهور PromptAudit، يمكننا الآن انتهاج نهج متوازن أكثر في استخدام نماذج الذكاء الاصطناعي للكشف عن الثغرات، مما يعزّز من فعالية العمل في مجال الأمان السيبراني.
ما رأيكم في هذه التقنية الجديدة؟ شاركونا أفكاركم في التعليقات!