تتجه الأبحاث الحديثة إلى أساليب تحكم أكثر تطوراً وفعالية في نماذج اللغة الكبيرة (Large Language Models). تمثل تقنية التوجيه بواسطة التفعيل (Activation Steering) ابتكاراً يتيح لنا الوصول إلى سلوكيات مستهدفة دون الحاجة إلى ضبط معقد للنموذج.

في دراسة جديدة، تم تقديم طريقة شاملة تعتمد على التوجيه باستخدام الـ SAE (Sparsity-Aware Encoder)، والتي تتطلب أولاً تطبيق مرشح موثوق به يتضمن ستة شروط. بعدها يتم تصنيف الميزات النادرة عبر توافق غير مرجح على ثلاثة إحصائيات تكاملية: اختبار F، المعلومات المتبادلة KSG، وCohen's d. والنتيجة هي توجيه بناء على تركيبة موزونة من صفوف فك التشفير، مما يجعل الاتجاه سهل الفهم ومحفزاً لتحسين فعالية النماذج.

تم اختبار هذه الطريقة على نماذج Gemma المتنوعة ضمن أربعة مجالات سلوكية و356 تكوين قوة طبقية، حيث أظهرت الطريقة تغيرات محددة في الأداء لكل مجال. وجد الباحثون أن هناك فجوة ملحوظة بين الحركة الجريئة والجيل الذي يحافظ على الجودة، ما يدعو إلى تقييم فاعلية عملية التوجيه بشكل أكثر دقة وخاصة عبر قياس الجودة.

في أفضل إعداد تم اختباره، أعطى التوجيه نحو الدقة المنطقية نتيجة مثيرة بزيادة قدرها +1.16 في نموذج Gemma 2 9B. لكن الملاحظة الأهم هي أن التوجيه الفعّال يعتمد بشدة على النموذج والمجال والطبقة وقوة التهيئة، مما يتطلب تقنيات تكييف جديدة ومخصصة.

لمعرفة المزيد، يمكنكم الاطلاع على الشيفرة والبيانات المتاحة على رابط GitHub. ما رأيكم في هذه التطورات التقنية؟ شاركونا في التعليقات!