في عالم الذكاء الاصطناعي المتقدم، تبرز الحاجة الملحة لحماية الأفعال التي يقوم بها وكلاء الذكاء الاصطناعي من خلال آلية موثوقة للتحكم في الصلاحيات أثناء التشغيل. يظهر AIRGuard كأداة ثورية تقوم بتنظيم واستغلال مبدأ الصلاحيات الأدنى (Least Privilege) بشكل فعال.
تتعدد وظائف وكلاء اللغة المستخدمين للأدوات (Tool-using language agents)، حيث يقومون بقراءة الملفات، تشغيل السكربتات، استدعاء واجهات برمجة التطبيقات (APIs)، إرسال الرسائل، واستخدام أدوات بروتوكول سياق النماذج (Model Context Protocol). لكن هذه الأفعال قد تؤدي إلى هجمات غير متوقعة، حيث يسيطر سياق يتم التحكم فيه من قبل المهاجم على الوصول المصرح به، مما يتسبب في ضرر غير متوقع لمصالح المستخدمين.
تحدد هذه الظاهرة كحيرة الصلاحيات (Authority Confusion)، حيث قد تُستخدم مصادر غير موثوقة في عمليات التفكير، لكنها لا يجب أن تؤدي إلى آثار جانبية غير مسموح بها. وهنا يأتي دور AIRGuard كحارس Runtime الذي يطبق مبدأ الصلاحيات الأدنى كتحكم في الصلاحيات أثناء تنفيذ الأفعال.
من خلال التنظيم المتناغم لاستدعاءات الأدوات المتنوعة، وتحديد صلاحيات المهام إلى صلاحيات على مستوى الخطوة، تتبع AIRGuard الثقة في المصادر والأهداف، وتقوم بمحاكاة الآثار الجانبية الحساسة، وتدقق المخاطر عبر الخطوات المختلفة، وتفرض القرارات قبل تنفيذ الإجراءات.
على منصة AgentTrap، أنجح AIRGuard في تقليل معدل نجاح هجمات Sonnet 4.6 من 36.3% دون دفاع إلى 5.5% مع وجود الدفاع. وعلى مجموعة DTAP-150، احتفظ AIRGuard بنسبة 76.0% من الفائدة السليمة مع استخدام Haiku 4.5، مقارنةً بـ 52.0% لـARGUS و42.0% لـ MELON. وتظهر نتائج أخرى أن سياسة الاعتماد فقط على الموجهات تساعد بشكل متواضع، بينما يمنح وجود طبقة تحكم بالصلاحيات أثناء التشغيل النظام قدرة مباشرة للتحكم في الآثار الجانبية التي تتوسطها الأدوات.
يمكنكم استكشاف الشيفرة والبيانات المتاحة على مستودع GitHub. هل أنتم متحمسون لرؤية كيف يمكن أن يُحدث AIRGuard فرقاً في أمان الذكاء الاصطناعي؟ شاركونا أرائكم!
AIRGuard: ثورة في حماية الأفعال من خلال التحكم في الصلاحيات أثناء التشغيل!
يقدم AIRGuard حلاً مبتكرًا لتحسين أمان وكلاء الذكاء الاصطناعي من خلال التحكم في الصلاحيات أثناء التشغيل، مما يقلل من نجاح الهجمات بشكل ملحوظ. تعلم كيف يمكن لهذه التقنية الجديدة أن تحمي مصالح المستخدمين.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
