في عالم الذكاء الاصطناعي، يُعتبر تحسين أداء نماذج اللغة الكبيرة (Large Language Models) أحد التحديات الرئيسية التي تواجه الباحثين. كشف باحثون مؤخرًا عن تقنية جديدة تحمل اسم "CorrSteer"، التي تعتمد على استخدام ميزات دالة ذاتية مترابطة (Correlated Sparse Autoencoder Features) لاستخراج معلومات قابلة للتفسير من النماذج دون الحاجة إلى إشراف.

تواجه العديد من التقنيات التقليدية صعوبة في تحقيق أداء جيد في المهام التوجيهية بسبب الحاجة لبيانات متباينة أو ذاكرة تخزين كبيرة للتنشيط. لكن مع CorrSteer، يتم تجاوز هذه العقبات من خلال ربط صحة العينة مع تنشيط الميزات الذاتية المترابطة في وقت الاستدلال، مما يسمح باستخراج ميزات أكثر صلة. هذه الطريقة الجديدة تعتمد فقط على تنشيطات وقت الاستدلال، مما يقلل من الارتباطات الخاطئة ويزيد من دقة التحليل.

علاوة على ذلك، تتضمن CorrSteer ميزة مثيرة تتمثل في استخلاص معاملات التوجيه من المتوسطات التنشيطية، ما يساهم في أتمتة العملية بكاملها. لقد أظهرت الأبحاث التي أجريت على نماذج مثل Gemma-2 2B وLLaMA-3.1 8B تحقيق تحسن كبير في الأداء، حيث سجلت زيادة بنسبة +3.3% في أداء MMLU مع استخدام 4000 عينة، و +27.2% في HarmBench باستخدام 108 عينات فقط.

تحقيقات CorrSteer تبرز الأنماط الدلالية البشرية، مما يكشف عن قدرات النماذج الأساسية التي تدفع الأداء. من الواضح أن اختيار الميزات المعتمد على الترابط يمثل نهجًا فعالًا وقابلًا للتوسع لتعزيز التحكم الذاتي في تطبيقات نموذج اللغة. هل أنتم مستعدون لاستكشاف المزيد عن هذه التقنية المتطورة؟