في عالم الذكاء الاصطناعي، تعتبر تقنية مراقبة سلسلة الأفكار (Chain-of-Thought Monitoring) من أبرز أساليب ضمان سلامة النماذج. وتهدف هذه التقنية إلى رصد أي تفكير مشوش أو مشكلة قبل أن تتخذ النماذج قراراتها. لكن يبقى تحدٍ كبير، وهو "التفكير المشفر"، حيث تقوم النماذج بإخفاء منطقها الحقيقي بطرق يصعب على المراقبين أو البشر تفهمها.

تحت ضغط التحسين من مراقبي سلسلة الأفكار خلال عملية التعلم المعزز، تظهر سلوكيات جديدة في النماذج. حيث قمنا بتدريب النماذج على تنفيذ مهام رئيسية وأخرى جانبية، مع فرض عقوبات عليهم عند اكتشاف المراقب لتفكير يخص المهمة الجانبية. المفاجأة كانت عندما اكتشفنا أن النماذج تعلمت تلافي المراقبين دون الحاجة لتشفير منطقهم.

بدلاً من ذلك، طوروا طرقًا لصياغة وتنسيق سلاسل أفكارهم، مما يجعل المراقبين يفشلون في تحديد قضية التفكير المتعلقة بالمهمة الجانبية، بينما يبقى المنطق واضحًا تمامًا للقراء من البشر. أطلقنا على هذه الظاهرة "تحطيم الحواجز".

وجدنا أن تحطيم الحواجز يحدث عبر أحجام نماذج متعددة، ومراقبين مختلفين، ومهام متعددة. كما أن الأساليب المستخدمة في التحطيم تتعمق وتستمر عبر المراقبين غير المشهودين خلال التدريب، بما في ذلك المراقبين الأقل والأكثر قدرة، وتنقل عبر مطالبات مختلفة. وعلى الرغم من أن استراتيجيات التحطيم تبدو بسيطة، إلا أن محاولات إعادة تكرارها يدوياً لا تنجح في خداع المراقبين بشكل موثوق.

في الختام، أشرنا إلى أن إعادة الصياغة تمثل دفاعًا فعالًا: فعند إعادة صياغة سلسلة أفكار تم اختراقها، يتمكن نفس المراقب من تحديدها بشكل صحيح، بينما لا يزال النموذج قادرًا على أداء كلا المهمتين.