في عصر الذكاء الاصطناعي، تفرض الأنظمة الحاسوبية القادرة بقاءها في طليعة الابتكار، لكنها تجلب معها قضايا أمنية وخصوصية خطيرة. وكجزء من جهود معالجتها، تم تقديم تقنية جديدة تُعرف بـ "Agent Sentry".

تواجه أنظمة الذكاء الاصطناعي العديد من التحديات، وفي مقدمتها عدم القدرة على التنبؤ بسير العمل الكامل الذي ستقوم به. هذه الأنظمة، رغم قدراتها الهائلة، يمكن أن تُعطل نتيجة لإجراءات غير ذات صلة، مما يزيد من مخاطر الأمان. هنا يتدخل "Agent Sentry" ليحدث فرقًا.

يتميز هذا النظام بقدرته على التعلم من التنفيذات الشرعية السابقة لإنشاء حدود آمنة للإجراءات الجيدة، مما يسهل تحديد أي إجراء يقع خارج النطاق المحدد. يستخدم "Agent Sentry" ثلاث مراحل تحكم متكاملة:
1. تصنيف هيكلي يتبّع تسلسل الإجراءات وبيانات وراثة كل منطق.
2. فحص قائمة مسموحة للأرجح الحساسة.
3. قاضٍ يعمل بتقنية نماذج اللغات الضخمة (Large Language Models) ويتم استدعاؤه فقط عندما يتعذر تحديد سلامة طلب جديد.

في تجارب الأداء، أثبت "Agent Sentry" فعاليته العالية في أنظمة مثل "AgentDojo" و"AgentDyn"، حيث تمكن من حظر 94.3% من الحقن الناجحة بينما سمح بتنفيذ 95.1% من الإجراءات المشروعة. كل هذا تم دون الحاجة لتعديل النظام أو أدواته أو حتى نماذج اللغات نفسها!

مع "Agent Sentry"، نخطو خطوة كبيرة نحو تأمين عالم الذكاء الاصطناعي، مما يعكس الابتكارات المستمرة التي تهدف إلى حماية مستخدمي هذه الأنظمة. هل أنت مستعد لرؤية المزيد من الابتكارات في هذا المجال؟ شاركونا في التعليقات!