في عالم الذكاء الاصطناعي، يتم استخدام نماذج اللغات الضخمة (LLM) لتحليل ومعالجة البيانات بشكل يثير الإعجاب. ولكن ماذا يحدث عندما تتحول نتائج هذه الأدوات، التي عادةً ما تقدم معلومات، إلى أوامر تودينها للقيام بأفعال حقيقية؟ في دراسة جديدة نشرت على arXiv، يتم تسليط الضوء على هذه المسألة.

تُظهر الأبحاث أن نتائج الأدوات تُستخدم أحياناً لتوجيه نماذج الذكاء الاصطناعي لأداء مهام مفتوحة، مما يؤدي إلى إمكانية اتخاذ إجراءات غير مقصودة. يُشار إلى أن هذه المخاوف تأتي من الخلط بين توليد الأفعال (Action Induction) وحق التنفيذ (Execution Authorization). هنا يأتي دور النظام الجديد المعروف باسم SARA، الذي يُعنى بفصل السلطتين لضمان الأمان وفعالية الأداء.

يسمح SARA بتعزيز كل من استدلال الأفعال وحق التنفيذ كوظيفتين مختلفتين، حيث يتم عزل البروتوكولات لضمان عدم تداخل أي منهما مع الأخرى. بينما يُستخدم استكشاف سياق الإجراءات لإظهار المعاني التحفيزية للأفعال، تُمنح تصاريح التنفيذ بناءً على أهداف المستخدم والأدلة الموثوقة.

من خلال تطبيق أسلوب No-History-Promotion، يضمن SARA أن تتجنب الأنظمة الأخطاء الناتجة عن الرسائل المخالفة. في اختبارات مكثفة باستخدام AgentDojo وAgentDyn، أظهر SARA نتائج مدهشة، حيث خفض من معدل الاستجابة غير المصرح بها (ASR) إلى 0.63% عبر أربعة إعدادات تقييم رئيسية، مع الحفاظ على الفعالية المطلوبة.

هل أنت متحمس لهذا الابتكار الجديد؟ هل تتوقع من التقنيات المبتكرة مثل SARA أن تحدث فرقًا في استخدامات الذكاء الاصطناعي في المستقبل؟ شاركنا برأيك في التعليقات!