في عالم الذكاء الاصطناعي، حققت تصميمات الذاكرة المستدامة (Persistent Memory) تقدمًا مذهلاً، مما أتاح لوكلاء الذكاء الاصطناعي أداء مهام معقدة. ومع ذلك، تظهر الأبحاث الحديثة جانبًا مظلمًا لهذا الابتكار، حيث قد تتعرض هذه الأنظمة لخطر التعليمات الخبيثة. في هذا السياق، تم اقتراح هجوم PMPA (Persistent Memory Poisoning Attack) كوسيلة لفهم وإillustrate هذه التهديدات.

يعمل هذا الهجوم عن طريق تضمين تعليمات خبيثة في مصادر خارجية تبدو غير ضارة، مما يدفع الوكيل الخبيث إلى كتابة هذه التعليمات في الذاكرة المستدامة دون الحاجة للوصول المباشر إلى الإطار الأساسي للوكيل. وبمجرد تخزينها، يمكن استرجاع هذه الذاكرة المسمومة في الجلسات اللاحقة، مما يؤدي إلى تنفيذ إجراءات خبيثة إضافية وتسرب للبيانات الحساسة.

أظهرت تقييمات الهجوم على أنظمة OpenClaw وClaude Code، أن النسبة المتوسطة لنجاح حقن التعليمات (Injection Success Rate - ISR) كانت 73.7% و66.9% على الترتيب. بينما كانت نسبة نجاح الهجوم عبر الجلسات (Cross-session Attack Success Rate - C-ASR) 55.5% و81.7%. والأكثر إثارة، أن هذه النتائج حققت أداءً جيدًا حتى في المهام السليمة.

كما تم تقييم دفاع محدد على مستوى التحدي، مما أظهر أنه يمكن تقليل حقن الذاكرة في العديد من الإعدادات، ولكن حمايةً محدودة توفر عندما تتعرض الذاكرة المستدامة للسم.

هذا التطور يسلط الضوء على أهمية تصميم أمن وفهم المخاطر المرتبطة بالذكاء الاصطناعي، لذا يجب على المطورين والمستخدمين توخي الحذر في استخدام هذه التقنيات الفائقة.

فماذا عنكم؟ كيف ترون تأثير هذه الهجمات على مستقبل الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات!