تتعرض وكالات الذكاء الاصطناعي لزيادة كبيرة في الاعتماد عليها، وخاصة الوكالات التي تعمل في بيئات طرفية (Terminal AI Agents). يعتمد هذا النوع من الوكالات بشكل أساسي على تنفيذ أوامر شل (Shell Commands) للتفاعل مع الأنظمة المضيفة. تستخدم هذه الوكالات آلية ثلاثية لقوائم الأمر للتحكم في الأوامر، حيث تلعب قوائم المنع (Denylist) دورًا محوريًا في تجنب المخاطر الأمنية. لكن، تواجه هذه القوائم تحديًا كبيرًا، فأنظمة التشغيل الحديثة غالبًا ما تتضمن مجموعة واسعة ومتنامية من الأوامر التي تأتي مع وظائف معقدة.

أظهرت دراسة حديثة أنه حتى قوائم المنع المدمجة بشكل جيد مثل تلك المستخدمة في Claude Code تواجه ثغرات يمكن أن تؤدي لضرب فعالية الأمن؛ حيث إن إغفالات بسيطة تؤدي إلى ضعف القوائم، مما يجعلها غير قادرة على حجب العمليات التي يتوقعها المستخدمون.

في هذا السياق، طُرِحَت CmdNeedle، وهي أداة مبتكرة تعتمد على النماذج اللغوية الكبيرة (Large Language Models) للكشف عن هشاشة قوائم المنع وإصلاحها. تقوم CmdNeedle بتوليد اقتراحات حول التحايلات المحتملة وتقوم بتحسين القوائم من خلال التغذية الراجعة الناتجة عن تنفيذها في بيئة آمنة (Sandbox).

خلال التقييم لهذه الأداة، تم تطبيق CmdNeedle على 1,709 قائمة منع حقيقية تم جمعها من GitHub، مما كشف أن 69.0–98.6% من قوائم المنع هشة، وهو ما يحدث بشكل متسق عبر مشاريع ووكالات متعددة. إن النتائج هذه تدعو الباحثين والممارسين للتفكير مجددًا في كيفية تأمين وكالات الذكاء الاصطناعي.

هل تعتقدون أن هناك حاجة لإعادة تقييم أساليب الأمان في وكالات الذكاء الاصطناعي؟ شاركوا آراءكم في التعليقات!