في عالم الذكاء الاصطناعي، تلعب نماذج اللغة دوراً مهماً، ولكن استخدام ميزات المغيرات (steering features) قد لا يكون دائماً واضحاً. إذ إن تأثير الاستخدام قد يختلف باختلاف السياقات، مما يؤدي إلى ظهور تأثيرات جانبية غير متوقعة. لتحسين هذه الحالة، تم تقديم إطار جديد يهدف إلى توقع هذه التأثيرات الجانبية قبل البدء في عملية التوجيه. هذا الإطار يعتمد على إحصائيات ميزات Sparse Autoencoder (SAE) التي تم جمعها مسبقاً.

تقوم الدراسة بتصنيف التأثيرات الجانبية إلى محورين رئيسيين: استقرار التأثير ونطاق التأثير الجانبي. تم اختبار هذه الفرضية على نماذج مختلفة مثل GPT-2-small وPythia-70M-deduped وGemma-2-2B وLlama-3.1-8B. النتائج أظهرت أن العوامل مثل هندسة فك الشفرات (decoder geometry) وإحصاءات التنشيط (activation statistics) يمكن أن تتنبأ بتحكم التأثير بشكل أفضل من الطرق التقليدية التي تعتمد على التردد فقط.

تمتاز النماذج GPT-2 وPythia وLlama بقدرتها القوية على التنبؤ بالتأثيرات، في حين كان أداء Gemma أقل. بالإضافة إلى ذلك، أظهرت التجارب أن توقعات النظافة للميزات غير المعروفة يمكن أن تحدد الميزات الأكثر فعالية في توجيه السياقات الجديدة. ومن المثير للاهتمام أن التجارب أظهرت أن تحسينات GPT-2 كانت الأكثر وضوحاً، بينما ركزت Pythia على الاستقرار، وLlama على التأثير الجانبي.

في الختام، تقدم هذه الدراسة رؤى جديدة حول إمكانية توقع تأثيرات توجيه المغيرات، مما يعزز قدرات نماذج اللغة ويساعد المطورين على تحسين أداء تقنياتهم في المستقبل.