في عالم التكنولوجيا المعاصر، يُعَد الذكاء الاصطناعي أحد أبرز الابتكارات التي تُحدث ثورة في طريقة تعاملنا مع البيانات. ومع ازدهار نماذج اللغات الضخمة (Large Language Models) ووجود أنظمة متعددة الوكلاء، تزايدت المخاطر المرتبطة بهجمات حقن الأوامر (Prompt Injection). مثلما تعاني التطبيقات من مشكلات الأمان، يتطلب الأمر أساليب جديدة لمراقبة وفهم هذه الهجمات بشكل دقيق.
وجد باحثون من خلال دراسة حديثة طريقة جديدة تُعرف بطريقة "Kill-Chain Canaries"، التي تعمل على زراعة رمز فريد في كل حمولة محقونة لمراقبة مدى تقدم الهجوم عبر أربع مراحل مختلفة: مكشوفة (Exposed) ، مستمرة (Persisted) ، مُنقولة (Relayed) ، و مُنفذة (Executed).
تظهر النتائج أن 100% من الهجمات التي استخدمت الأدوات قد تم التعرف عليها، ولكن النتائج كانت متباينة في المراحل المختلفة. على سبيل المثال، لم تُنفذ نماذج Claude Haiku 4.5 وClaude Sonnet 4.5 أي من هجماتها التي تقدمت عبر السطح النصي.
إليك بعض النتائج الرئيسية:
1. تمكن نموذج Claude writer من استبعاد الرمز الحساس من الذاكرة المشتركة في جميع الحالات التي تم اختبارها.
2. على الرغم من أن Claude models لم تنفذ أي هجمات محقونة، نفذت Claude Haiku 4.5 بعض الهجمات التي تم نقلها من GPT-4o-mini.
3. تباينت النتائج بين الأنظمة المختلفة، حيث حقق DeepSeek Chat نجاحًا أكبر في استخدام نتائج الأدوات.
4. أظهرت الأدوات الدفاعية عدم كفاءتها في بعض القنوات، مما يُبرز الحاجة لتحسين استراتيجيات الأمان.
هذا الكود وسجلات التشغيل سوف تتوفر للجمهور، مما يتيح مساحة أكبر للباحثين لتطوير استراتيجيات أخرى للحماية. تبين لنا من هذه الدراسة بأن فهم كيفية هجمات حقن الأوامر يمكن أن يكون عنصرًا حاسمًا في تعزيز أمان التطبيقات الذكية.
ما رأيكم في هذا التطور؟ شاركونا في التعليقات!
اكتشاف جديد لكيفية هجمات حقن الأوامر على نماذج الذكاء الاصطناعي: المعرفة هي القوة!
قدمت ورقة بحثية تقنية جديدة أسلوبًا مبتكرًا لمراقبة هجمات حقن الأوامر في بيئات نماذج اللغات الضخمة. تُظهر النتائج فعالية مختلفة للإجراءات الدفاعية ضد هذه الهجمات المعقدة.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
