في عالم الذكاء الاصطناعي، تمتاز نماذج اللغات الضخمة (LLMs) بقدرتها الاستثنائية على إنجاز المهام المعقدة المتعددة، خصوصًا عند دمجها مع أدوات خارجية. ومع ذلك، فإن هذه النماذج أصبحت عرضة بشكل متزايد للهجمات المعادية، مثل حقن التوجيه المباشر وغير المباشر، وتسميم الذاكرة، وهجمات الباب الخلفي. في دراسة جديدة، تم تطوير استراتيجيات دفاعية عملية وشاملة لحماية هذه النماذج.

واحدة من هذه الاستراتيجيات تتضمن تصفية أدوات المهاجمين، حيث تستخدم تقنيات الكشف عن الشذوذ مثل تقنية الغابة العزلة (Isolation Forest) لتحديد وإزالة الأدوات المريبة. بالإضافة إلى ذلك، تم تقديم طريقة لاستعادة مجموعة الأدوات الأصلية للوكلاء قبل التخطيط، مما يعزز من فعالية الأداء.

كما تم دمج تقنيات تعتمد على التوجيه لتحسين المنطق والتفكير الذاتي، مما يساعد في تقليل تأثير الهجمات.

أثبتت النتائج التجريبية على نماذج اللغات الضخمة المختلفة، بما في ذلك Gemma2-9B و Qwen2-7B و LLaMA3-8B و GPT-3.5، أن هذه الحلول الدفاعية قادرة على تقليل معدلات نجاح الهجمات إلى 0% في العديد من السيناريوهات. وبهذه الطريقة، تبرز أهمية الدفاعات البسيطة والمتعددة الطبقات في تعزيز أمن وموثوقية الوكلاء الذكيين المدمجين بأدوات.

للاطلاع على الكود والتفاصيل، يمكنك زيارة رابط الكود. ما رأيكم في هذه الاستراتيجيات الدفاعية؟ شاركونا آرائكم في التعليقات!