في عالم الذكاء الاصطناعي، يمثل استخدام نظم الذكاء الاصطناعي (Agentic Systems) تحوّلاً كبيرًا في كيفية تفاعل المستخدمين مع نماذج اللغات الضخمة (Large Language Models). لقد تقدمت هذه النظم من مساعدات محدودة ضمن جلسات قصيرة إلى أنظمة قادرة على الاحتفاظ بالذاكرة وتطوير حالة العالم المشترك عبر جلسات متعددة.
لكن ما يؤدي إلى قلق كبير هو كيفية توسيع هذا التحول لسطح الهجمات مثل حقن التعليمات (Prompt Injection). فقد ركّزت الدراسات السابقة على التهديدات الداخلية للنموذج ضمن جلسة واحدة، متجاهلة كيفية تغيير حالة النظام المتواصل المخاطر المرتبطة.
يتناول البحث الجديد مفهوم "حقن التعليمات المخزنة عبر الجلسات"، حيث يمكن أن تؤثر عمليات الحقن الناجحة على النظام حتى بعد انتهاء تفاعل المهاجم الأصلي، مما يجعل هذه التهديدات غير مرئية ولكنها خطيرة. لقد تم تصميم تصنيف جديد لفهم كيف يمكن أن تبقى المحتويات العدائية وتؤثر على نظم الذكاء الاصطناعي.
تم تطوير أدوات جديدة للتقييم الكمي لهذه المخاطر، مما يتيح تحليل نجاح الهجمات عبر نماذج مختلفة وأهداف متنوعة وقنوات استمرارية. تُظهر النتائج أن الاستمرارية تحول حقن التعليمات من تهديد على مستوى النموذج إلى ضعف خطر دائم في مستوى النظام، ما يستدعي الانتباه من المجتمع الأكاديمي والصناعي.
تدعو هذه الدراسة إلى اهتمام أوسع بهذا التهديد المتزايد وتحث على ضرورة البحث المنهجي للتخفيف من المخاطر الناتجة عن الاستمرارية في أنظمة الذكاء الاصطناعي.
ماذا لو لم تغادر حقن التعليمات؟ استكشاف حقن التعليمات المخزنة عبر الجلسات في نظم الذكاء الاصطناعي
تتناول الدراسة الجديدة كيفية تأثير حقن التعليمات المخزنة عبر الجلسات على نظم الذكاء الاصطناعي، حيث تبرز المخاطر الجديدة التي تنتج عن هذه التقنية. يعتبر هذا البحث تحولًا في فهم عمق تهديدات حقن التعليمات لأجهزة الذكاء الاصطناعي.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
