في عالم الذكاء الاصطناعي، تتزايد أهميات وكالات ReAct التي تُستخدم في مهام حيوية مثل جدولة المواعيد واسترجاع الملفات. ولكن هل تعلم أن هذه الوكالات تحمل ثغرات تهدد الأمان؟ دراسة جديدة تناولت عمق الحقن غير المباشر (Indirect Prompt Injection) وأبعاد الهجوم التي لم يتم استكشافها من قبل.

تشير النتائج إنَّ الهجمات التي تعتمد على عمق الحقن تؤثر بشكل مباشر على نجاح هذه الهجمات. في دراسات مُتحكَّم بها شملت 20 سيناريو، تم رصد 460 تجربة لمراقبة مدى فعالية الهجمات على نموذجين شهيرين: GPT-4o-mini وClaude Haiku. وكانت المفاجأة أن تصاعد نجاح الهجمات يتغير بشكل كبير حسب العمق الذي يتم فيه الحقن.

في الدراسة الأولى، وجد الباحثون أن معدل نجاح الهجوم (ASR) كان 60% عند العمق 1، لكنه تلاشى تماماً عند العمقين 4 و5، مما يدل على مقاومة النموذج للأوامر في المراحل المتقدمة. بينما تحقق Claude Haiku 0% معدل نجاح في جميع الأعماق، مما يبرز فعالية استدعاء الأدوات بطرق أكثر تحفظًا.

كما أظهرت الدراسة الثالثة أهمية طريقة الإطار (Framing)، حيث شهدت تغيراً كبيراً في النجاح بين 25% في الإطار المحايد و75% عند استخدام شخصية محددة. لكن، بغض النظر عن تغيير عدد الأدوار المسموح بها، ظلت النتائج مستقرة.

تمكنت هذه الدراسات من توضيح أن عمق الحقن هو المتغير الأكثر تأثيرًا، حيث يكفي تنظيف الملاحظة الأولى فقط للحد من 67% من النجاح في الحقن. ويمكن أن تكون هذه النتائج نقطة انطلاق لفهم أفضل لكيفية تحسين أمان وكالات الذكاء الاصطناعي.

ما رأيكم في التأثيرات الأمنية لهذه الأبحاث؟ شاركونا في التعليقات.