في عالم اليوم المتسارع، أصبحت الأنظمة الذكية تُعَدّ من أبرز الابتكارات التقنية، حيث تقوم بتوسيع قدرات نماذج اللغة (Language Models) بفضل الأدوات الخارجية التي تمكّنها من إنجاز مهام معقدة عبر تفاعلات متعددة الخطوات. ولكن، مع هذه القوة تأتي مسؤولية كبيرة، حيث تتطلب هذه الأنظمة التوافق مع سياسات محددة في مجالات متعددة مثل التسعير، الخصوصية، والسلامة.

تواجه هذه الأنظمة تحدياً كبيراً في كيفية تدقيق سياساتها، حيث تقارن طرق التقييم الحالية بين قدرة الأنظمة على الإنجاز وقياسات السلامة، لكنها تفتقر إلى آليات فحص فعالة للتأكد من التزام الأنظمة بالسياسات المعينة أثناء استخدام الأدوات.

هنا يأتي دور PROBE (مراقبة قواعد السياسة عبر الاستكشاف السلوكي)، وهو خوارزمية مبتكرة لتدريب المدققين المبنيين على نماذج اللغة، والتي تتفاعل مع الأنظمة المنشورة كمستخدمين حقيقيين، وتقوم بفحص وجود انتهاكات للسياسات خلال حوار متبادل طولياً.

تمت صياغة تدقيق الأنظمة كنوع من لعبة ماركوف ذات لاعبين، حيث يُقَيَّم الأداء وفقاً لمعايير متعددة تشمل اكتشاف الانتهاكات، plausibility السلوك، تقدم الحوار، وتنوع السياسات. وأوضحت التجارب أن المدققين المدربين عبر PROBE استطاعوا الكشف عن انتهاكات أوسع وأعلى عائدًا من نظرائهم الذين تم استخدامهم في ظروف صفرية، حتى عندما كان المدقق أصغر حجماً من النظام المستهدف.

تؤكد نتائج الأبحاث على أهمية تدقيق السلوكيات كخطوة مميزة في تقييم الأنظمة، مشيرة إلى أن PROBE يوفر مساراً قابلاً للتوسيع نحو تدقيق السياسات بشكل آلي للأنظمة الذكية في العالم الحقيقي.