تكنولوجيا الذكاء الاصطناعي تشهد تطورًا سريعًا، ومن بين أبرز تلك التطورات تأتي نماذج اللغات الكبيرة (Large Language Models) التي أصبحت تلعب دورًا رئيسيًا في توليد الأكواد. ومع هذا، تبرز مخاوف جدية بشأن استخدام هذه النماذج لإنتاج أكواد ضارة قد تؤثر على أمان البرمجيات.
في ورقة بحثية جديدة، تم الكشف عن تقنية جديدة تُعرف باسم "CodeSpear"، وهي تقنية هجوم تستغل ما يُعرف بتقنيات فك القيود النحوية (Grammar-Constrained Decoding أو GCD)، والتي تهدف في الأساس إلى تحسين موثوقية الأكواد المولدة عن طريق فرض صحة نحوية. ومع ذلك، نجد أن هذه التقنية نفسها قد تحوّلت إلى نقطة ضعف، مما يسمح للمهاجمين بتجاوز القيود وخلق أكواد تخريبية.
تجارب الباحثين كشفت أن تطبيق قيود نحوية بسيطة يمكن أن يُستخدم بشكل فعال لفك قيد نماذج اللغات الكبيرة، مما يُعزز من نسبة نجاح الهجمات بشكل كبير.
لمواجهة هذه الثغرات، تم تقديم حل مبتكر يُدعى "CodeShield"، وهو منهجية تركز على سلامة النظام. تعتمد CodeShield على تعليم النموذج كيفية إنتاج أكواد "مُحلية"، والتي تكون غير ضارة من الناحية الدلالية، لكنها في نفس الوقت تتمتع بتنوع هيكلي يجعل من الصعب على المهاجمين السيطرة عليها.
يتضح من التجارب التي أجريت على 10 من نماذج اللغات الكبيرة أن تأثير CodeSpear يتفوق على المعايير السابقة التي استخدمت للهجوم، حيث زاد معدل النجاح بأكثر من 30 نقطة مئوية.
النتائج تُظهر أن التقنيات الحالية بحاجة إلى مزيد من التقييم لسوء استغلالها المحتمل. إن تطور أدوات الأمان مثل CodeShield قد يكون البداية لتحقيق أمان أكبر في عالم الذكاء الاصطناعي.
تحذير: تقنيات فك القيود في نماذج اللغات الكبيرة قد تسمح بتوليد أكواد ضارة!
توسعت استخدامات نماذج اللغات الكبيرة (LLMs) في توليد الأكواد، لكن هذه التقنية تحمل معها مخاطر جديدة تتعلق بإمكانية استغلالها لإنتاج أكواد ضارة. يساهم البحث في كشف هذه المخاطر ويقدم حلولاً مبتكرة لتعزيز الأمان.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
