في مواجهة الانتقادات المتزايدة لجوانب الأمان في نظام وكالات نماذج اللغات الكبيرة (LLM)، تم الكشف عن ToolFence، وهو نظام مبتكر يهدف إلى تعزيز الأمان من خلال تنفيذ تفويض دقيق. هذه المبادرة تأتي في ظل مخاطر الهجمات المستترة التي تستخدم التعليمات الموثوقة والملاحظات غير الموثوقة في نفس السياق، مما يتيح للجهات الخبيثة التلاعب بالدفاعات.
لقد أظهرت الدراسات أن الدفاعات القائمة على الإجماع متعدد المسارات لا تزال تعاني من معدل نجاح هجمات مرتفع، حيث تقوم الفحوصات فقط على المحتوى أو المخرجات المجمعة بدلاً من تفويض التأثيرات. هذه الهجمات، خاصة تلك التي تحدث داخل الأداة، تحتفظ بالأداة المقصودة لكنها تتلاعب في مكوناتها.
من ناحية أخرى، يوفر التحكم في تدفق البيانات مثل CaMeL ضمانات أقوى، لكنه يصطدم بتحديات كبيرة من حيث الزمان والتكلفة، مما يعيق نشره العملي. ومن هنا، يقدم ToolFence حلًا مبتكرًا يتضمن إنشاء مخطط تفويض معتمد قبل التنفيذ، والذي يُفعل عبر مراقبة حاسمة. وعندما يكون المخطط غير كامل، يطلب من قاضٍ منح قدرات جديدة بدلاً من التحكيم في كل مكاملة محددة.
تمتاز ToolFence بفضلين رئيسيين: التفويض الواعي للأصل الدقيق، مما يمكّن النظام من التمييز بين القيم المعتمدة من قبل المستخدم والملاحظات غير الموثوقة، مما يعالج بشكل فعّال الهجمات داخل الأداة. إضافة إلى ذلك، فإن المسار السريع الحاسم لوقت التشغيل وتقنيات منح الصلاحيات تقلل بشكل كبير من تكرار استدعاءات القضاة المكلفة، مما يحسن من كفاءة وقت التشغيل.
اختبارات الأداء على منصة AgentDojo مع نموذج Qwen3-max أظهرت أن ToolFence يمكن أن تقود المعدل العام لنجاح الهجمات إلى الصفر تقريبًا مع انخفاض طفيف في كفاءة الاستخدام بنسبة 3.80% فقط، مما يجعل النظام ليس فقط أكثر أمانًا بل وأكثر فعالية في الوقت ذاته.
ToolFence: حماية متقدمة لتفويض دقيق في أدوات الذكاء الاصطناعي!
أعلنت الدراسة الجديدة عن ToolFence، نظام تفويض متقدم يحمي وكالات نماذج اللغات الكبيرة (LLM) من الهجمات المستترة. يشمل النظام ميزات ذكية تزيد من كفاءة التشغيل وتعزز الأمان بشكل كبير.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
