الهندسة وراء الرفض: لماذا أمان ما بعد التدريب هش بينما يستمر الأمان خلال فترة التدريب المبكرة؟

في عالم الذكاء الاصطناعي، يُعد أمان نماذج اللغة الكبيرة (Large Language Models) نقطة حساسة تتطلب اهتماماً خاصاً، حيث يُستخدم عادةً التدريب ما بعد أو التوجيه بالتعزيز (RLHF) كأداة رئيسية لتحقيق الاعتدال. ولكن، وفقًا لبحث نشر على منصة arXiv، يُظهر أن تقنيات مثل "التحكم في الاعتداء" و"استكشاف المساحات النشطة" تستمر في استعادة سلوكيات كان من المفترض إزالتها.

تتناول هذه الدراسة طبيعة هشاشة نظم الأمان، مستعرضةً كيف يمكن أن يكون هذا الرفض تقنيًا. من خلال قياس تحديث الأمان، يُظهر البحث كيف أن تقنيات الأمان ما بعد التدريب تتموضع في منطقة قمعية، حيث يظل التحديث بسيطًا لكن حادًا، مما يسمح لبعض النماذج بإعادة استعادة سلوكياتها.

تشير النتائج التي تم التوصل إليها إلى أن نماذج مثل Qwen-2.5-7B وLlama-3-8B تتفاعل بشكل مثير، حيث يتمكن تدريب بسيط أو تعديل رشيد من استعادة السلوكيات السابقة. كما تُبرز الدراسة أهمية التشبث بإشارات الأمان خلال فترة التدريب المبكر لضمان robustness (القدرة على المقاومة) في مواجهة الاعتداءات.

بالنظر إلى هذه الديناميكيات، يبدو أن اختيار قنوات الأمن بشكل استباقي يمكن أن يُحدث فرقًا كبيرًا في قدرات النماذج. كيف يمكن استغلال هذه النتائج في تطوير نماذج أكثر أمانًا وفعالية؟ هذا هو السؤال الذي يتبادر إلى الذهن.