في عالم الذكاء الاصطناعي المتطور، يعتمد وكلاء الذكاء الاصطناعي، المدعومون بنماذج اللغات الضخمة (LLMs)، على اختيار أدوات خارجية لإتمام المهام الموكلة إليهم. لكن ماذا يحدث عندما يستغل المحتالون هذه العمليات لمصالحهم الخاصة؟ هنا يأتي دور الأداة الجديدة المثيرة للجدل، MemMorph.

تقدم الدراسة مفهومًا مبتكرًا حيث تكشف أن معظم الهجمات الحالية تركز على التلاعب ببيانات الأداة، وهو ما يمكن اكتشافه بسهولة من خلال المراجعة. لكن مع تطور الوكلاء واعتمادهم المتزايد على وحدات الذاكرة لتحسين سياسات اختيار الأدوات، ولد طعم جديد من الهجمات.

تستخدم MemMorph تقنيات ذكية لتحريف الخيارات عبر تلوّث ذاكرة الوكيل على المدى الطويل. بدلاً من تحديد قرار استدعاء الأداة بشكل صريح، تقوم MemMorph بحقن عدد قليل من السجلات المُصنّعة التي تخفي نفسها كحقائق فنية، أو تقارير عن حوادث، أو سياسات تشغيلية. هذه السجلات الملوّثة تعيد تشكيل تصور الوكيل وسير عملية اتخاذ القرار، مما يدفعه إلى استنتاج واختيار الأداة التي يفضلها المحتال.

تشير التجارب المستندة إلى ثلاثة معايير و10 هياكل لوكلاء و3 تطبيقات لوحدات الذاكرة إلى أن MemMorph حققت معدل نجاح يصل إلى 85.9% مع مجرد ثلاثة سجلات مُحقنة، متفوقة على أقوى الأسس السابقة بفارق يصل إلى 25%، بينما تحتفظ بقوتها أمام ثلاث دفاعات تمثيلية.

تفتح هذه الاكتشافات المجال لبحث أعمق حول الذاكرة الطويلة كأحد النقاط الحرجة والهامة التي تحتاج لمزيد من الحماية، مما يدفع نحو تطوير ضوابط تضمن سلامة الذاكرة في الأنظمة المعززة بالأدوات.

ما رأيكم في هذا التطور الخطير؟ شاركونا في التعليقات!