في عالم الذكاء الاصطناعي، تتزايد استخدامات الأنظمة التوليدية بشكل ملحوظ، حيث تقدم هذه الأنظمة المساعدة للمستخدمين في سياقات عملية، مثل مساعدي التسوق الرقمي والسيارات ذاتية القيادة. ومع تزايد الاعتماد عليها، فإن مسألة السلامة لم تعد تقتصر على حجب المحتوى الضار، بل أصبحت تتعلق بتفادي المخاطر المحتملة مثل الأذى المالي أو الجسدي.

تظل معظم حواجز أمان الذكاء الاصطناعي (AI Guardrails) تعتمد على تصنيف المخرجات بناءً على مجموعات بيانات موسّمة ومعايير محددة بشريًا، مما يجعلها عرضة للمواقف الخطرة الجديدة. وعند اكتشاف ظروف غير آمنة، غالبًا ما ترفض الأنظمة التوليدية التصرف، وهو ما ليس دائمًا الخيار الأكثر أمانًا.

في هذا السياق، يقترح الباحثون أن سلامة الذكاء الاصطناعي تتطلب فهمًا عميقًا لمفهوم اتخاذ القرار التسلسلي، حيث تنشأ النتائج الضارة من تفاعلات نظام الذكاء الاصطناعي المستمرة وتأثيراتها السلبية الممكنة. تم توضيح هذا المفهوم من خلال نظرية التحكم الحرجة للسلامة، والتي تستثمر في تمثيل الذكاء الاصطناعي للعالم.

هذه الرؤية الجديدة تتيح تطوير حواجز أمان استباقية يمكنها مراقبة مخرجات النظام (التصرفات) في الوقت الحقيقي، وتصحيح المخرجات المحفوفة بالمخاطر إلى خيارات آمنة، مما يجعلها فعالة في أي نموذج ذكاء اصطناعي. علاوة على ذلك، يقدم الباحثون وصفة تدريب عملية لإنشاء هذه الحواجز على نطاق واسع من خلال تعلم التعزيز الحرجي.

تظهر التجارب التي تم تنفيذها في بيئات محاكاة القيادة والتجارة الإلكترونية أن الحواجز المستندة إلى نظرية التحكم يمكن أن توجه وكلاء النماذج اللغوية الكبيرة (LLMs) بعيدًا عن النتائج الكارثية، مثل الحوادث والمشاكل المالية، مع الحفاظ على أداء المهمة، مما يوفر بديلاً ديناميكيًا قائمًا على المبادئ لأساليب الحجب التقليدية.