في عالم الذكاء الاصطناعي، تعد نماذج اللغات الضخمة (Large Language Models) من أهم التقنيات التي تُستخدم في تطوير وكلاء ذكيين يمكنهم أداء مهام مستدامة ومستقلة. لكن هذه القدرة تأتي مع تحديات جديدة، حيث يُظهر الباحثون كيف يمكن استغلال الذاكرة طويلة الأمد لتكون سلاحًا في يد المهاجمين.
تقنية جديدة تُدعى MemPoison تم تقديمها كوسيلة لاختراق ذاكرة الوكلاء الذكيين عبر هجمات تسمى "تسميم الذاكرة" (Memory Poisoning). تكمن الفكرة في أن المهاجمين يمكنهم حقن معلومات ضارة تؤثر على سلوك الوكلاء في المستقبل. على الرغم من أن الأساليب التقليدية كانت تُفترض إمكانية تخزين المحتوى المدسوس مباشرةً في الذاكرة، إلا أن الأبحاث الحديثة تُظهر أن هذا الافتراض يتجاوز مراحل الاستخراج والكتابة الانتقائية في أنظمة الذاكرة الحديثة.
تمتاز تقنية MemPoison بثلاثة مكونات رئيسية:
1. **جسر دلالي**: يعزز العلاقة بين المحفز (trigger) والمحتوى الضار (payload) ليكونا جملة متماسكة تضمن تخزينهما معًا.
2. **تقليد الكيانات**: يعدّل المحفزات لتقلد الكيانات المسماة، مما يجعلها أكثر مقاومة لإعادة الكتابة.
3. **تحسين التجميع المشترك**: يُشكل النصوص المحقونة بطريقة تجعلها تُجمع في مجموعة ضيقة في فضاء التجسيد، مع الحفاظ على عزلتها عن التجسيدات الطيبة.
أظهرت التقييمات عبر مجالات مختلفة للوكلاء وآليات الذاكرة أن MemPoison تُحقق نسب نجاح للهجوم تصل إلى 0.95، متفوقةً على المعايير الحالية. كما يُظهر التحليل الميكانيكي أن الهجوم يستغل الأنيسوتروبية في فضاء التجسيد ويحول أنماط التركيز، مما يُبرز الثغرات الأساسية في أنظمة الذاكرة الانتقائية.
تم تقييم استراتيجيات دفاعية متعددة، وأظهرت القياسات أنها تفتقر إلى الفعالية المطلوبة في تخفيف أثر هذا الهجوم. يُظهر هذا البحث أهمية فهم المخاطر المحيطة بتقنيات الذكاء الاصطناعي، خصوصًا في سياق الاستخدام الآمن للنماذج اللغوية المتطورة.
إختراق ذاكرة الوكلاء: هجمات خفية عبر التفاعل الحواري
تُسلط الأضواء على تقنية جديدة تُسمى MemPoison، التي تستغل ذاكرة الوكلاء الذكيين لاختراقها من خلال حوارات مُركّزة. هذه الهجمات تكشف عن ثغرات مقلقة في أنظمة الذاكرة الانتقائية لوكلاء نماذج اللغات الضخمة.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
