مع تزايد استخدام وكلاء الذكاء الاصطناعي المدعومين بالذاكرة المستدامة عبر جلسات المستخدمين المختلفة، تظهر مخاطر جديدة تستدعي اهتمام الباحثين. فقد تم تقديم مفهوم تسمم الذاكرة عبر جلسات متعددة (Multi-Session Memory Poisoning - MSMP)، حيث يمكن للمهاجمين استغلال العمليات الطبيعية لدفع ذاكرة مزيفة تؤثر على ردود فعل الوكيل دون الحاجة إلى التلاعب بأساسيات النموذج أو الكود.
وبهذه السياق، خرجت تقنية جديدة تُدعى Signed Memory with Smoothed Retrieval (SMSR) كأول دفاع معتمد يوفر حدودًا ثابتة للمتانة ضد هذه التهديدات. يتكون هذا النظام من مكونين رئيسيين:
1. **إضافة سجل HMAC-SHA256** عند الكتابة، ما يمنع أي إدخال غير موقع.
2. **تطبيق حجب ذاكرة عشوائي** مع تصويت الأغلبية المبني على الأحكام عند استعلام البيانات، مما يحد من تأثير المهاجمين المعتمدين.
يوضح البحث أن أي فلتر لا يحوي على سجل يمكنه أن يضمن عدم قدرة الخصوم على التدخل بشكل فعال. فعلى مدار 15 سيناريو مؤسسي، ساهم المكون الأول في تقليل نسبة نجاح الهجمات من 93-100% إلى 0% لجميع النسخ غير الموقعة. للأعداء المعتمدين، تم الحفاظ على نجاح الهجمات عند 8.0% فقط.
بالإضافة إلى ذلك، في هجوم يستند إلى استعلام فقط، قام النظام بتقليل نسبة النجاح من 65.3% إلى 5.3%. إن هذه التطورات تعمل على تعزيز الأمان وتقديم حلول فعالة لمواجهة التحديات المتزايدة في مجال الذكاء الاصطناعي.
هل تعتقد أن هذه التقنية ستساهم في تعزيز أمان الأنظمة الذكية بشكل فعّال؟ شاركونا آرائكم في التعليقات.
SMSR: درع معتمد ضد تسمم الذاكرة في أنظمة الوكلاء اللغويين المستدامة!
تقدم الابتكارات الجديدة في مجال الذكاء الاصطناعي حلولًا فعالة لمواجهة المخاطر الجديدة، حيث يتناول البحث مفهوم تسمم الذاكرة عبر جلسات متعددة. تساعد تقنيات SMSR في الحفاظ على قوة الوكلاء اللغويين ضد الهجمات المحوسبة.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
