في عالم الذكاء الاصطناعي المتطور، تعد الأدوات التي يمتلكها العملاء الذكيون عنصراً حيوياً لتحقيق نتائج فعالة. مع ازدهار نماذج اللغات الكبيرة (Large Language Models)، أصبحت مشاركة هذه الأدوات في عملية اتخاذ القرار أكثر أهمية من أي وقت مضى. ومع ذلك، تكشف دراسة جديدة عن أن هذه الأدوات قد تكون مصدرًا للمخاطر.

تتناول هذه الدراسة تأثير مواصفات الأدوات المهيكلة على سلامة العملاء الذكاء الاصطناعي، حيث أظهرت النتائج أن الاعتماد على هذه المواصفات يمكن أن يؤدي إلى ضعف كبير في قدرة النماذج على رفض الطلبات الضارة. وهذا ما أظهرته التحليلات التي قُدمت في الورقة، حيث توضح أن هذه المواصفات تُضعف إشارات الرفض الداخلية للنموذج، مما يعرض المستخدمين لمخاطر استخدام أدوات غير آمنة.

لكن الباحثين لم يكتفوا بطرح المشكلة، بل قدموا حلاً مبتكرًا من خلال نموذج جديد يُعرف باسم SafeKeep. يعمل هذا النظام على حماية المستخدمين عن طريق فصل عملية اتخاذ القرار الأمني عن تنفيذ الطلبات، حيث يقوم بتقييم الطلبات وفقًا لمواصفات أدوات نصية مستقلة.

وفقًا للاختبارات التي أُجريت، أظهر SafeKeep زيادة في معدل الرفض للطلبات الضارة من 23.8% إلى 70.6%، مع تقليل معدل نجاح الهجمات بشكل كبير من 25.6% إلى 2.5%. لذا، لا يساهم هذا النموذج في تحسين الأمان فحسب، بل يحتفظ أيضًا بقدرات التعامل مع المهام دون عوائق.

لمن يرغب في استكشاف المزيد، تم نشر الكود والبيانات الخاصة بالنموذج عبر الرابط GitHub - SafeKeep. كيف ترى أهمية ضمان سلامة العملاء الذكاء الاصطناعي؟ شاركونا آرائكم في التعليقات!