في عالم الذكاء الاصطناعي، تعتبر الحماية من المخاطر إحدى القضايا الأكثر أهمية. هل تساءلت يومًا كيف يمكن لوكالات الذكاء الاصطناعي أن تتجنب الأخطار المحتملة أثناء تنفيذ المهام؟ هنا يأتي دور نموذج TRIAD (استجابة ثلاثية لتحسين حماية الوكالات) المبتكر.

في العادة، تعمل حواجز الأمان المعتمدة على نماذج اللغات الضخمة (Large Language Models) على تقييم الأفعال المقترحة أو المدخلات قبل تنفيذها، مما ينتج إشارات أمان مثل قرارات السماح أو الرفض، وتصنيفات المخاطر، وتفسيرات حول الانتهاكات المحتملة للسياسات. ومع ذلك، غالبًا ما تحدث المخاطر عندما تتخلل مهام غير ضارة محتوى خارجي غير موثوق به أو تعليمات غير آمنة.

النموذج التقليدي غالبًا ما يعلن المهمة بأكملها غير آمنة، مما يحول دون حدوث تهديد ولكنه في الوقت نفسه يتجاهل الأجزاء غير الضارة. فيما يركز النموذج الجديد TRIAD في تحسين الأداء ويقدم هيكلًا متكاملًا يتيح للوكالات الذكية اتخاذ قرارات أفضل من خلال تغذية راجعة صوتية موجهة.

يتم تدريب نموذج لغة محدد على مجموعة بيانات تم تجميعها ذاتيًا ليخرج بأحد ثلاثة قرارات: الاستمرار، الرفض، أو التحديث. بدلاً من منع التنفيذ ببساطة، يقوم خيار التحديث بتوجيه الوكالة إلى تعديل خطتها لتجنب العناصر الضارة مع الحفاظ على المهمة غير الضارة قدر الإمكان.

أظهرت التجارب الواسعة التي أُجريت على مجموعة بيانات ASB وAgentHarm أن نموذج TRIAD يقلل من معدل نجاح الهجمات إلى 10.42%، بينما يحقق أفضل توازن بين الأمان والفائدة. لمزيد من المعلومات ، يمكنك زيارة الكود المصدري للنموذج المتاح على GitHub.

مع هذه التطورات، يبدو أن مستقبل الذكاء الاصطناعي سيكون أكثر أمانًا وفعالية. ولكن، كيف ترى تأثير هذه الإبتكارات على مستقبل وكالات الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات!