تعلم غير مرئي: كيف تنقل نماذج اللغة سلوكيات غير متوقعة؟

تُعتبر ظاهرة التعلم غير المرئي (Subliminal Learning) من الظواهر المثيرة للاهتمام في عالم الذكاء الاصطناعي، حيث تسعى نماذج اللغة (Language Models) لنقل سلوكيات معينة بين بعضها البعض بشكل غير مباشر. فحسب دراسة حديثة نشرت على arXiv بعنوان "Subliminal Learning is a LoRA Artifact"، يمكن لنموذج تعليمي يحمل سلوكاً محدداً، مثل الهوس بالقطط، أن ينقل هذا الهوس إلى نموذج آخر تم تدريبه فقط على تسلسلات عددية مولّدة بواسطة النموذج التعليمي.

لكن كيف يحدث هذا النقل غير المتوقع للسلوكيات؟ تكشف الدراسة أن التعلم غير المرئي هو في الأساس نتاج خصائص LoRA (Low-Rank Adaptation). فعندما يحدث التعلم غير المرئي، يكون هناك علاقة على شكل حرف U معكوس بين مستوى LoRA وفاعلية النقل، كما يختفي هذا السلوك عند القيام بتدريب شامل للنموذج.

الأبحاث تشير أيضاً إلى أن التعلم غير المرئي يعتمد بصورة كبيرة على السياق الذي يتم الحصول عليه خلال عملية الضبط الدقيق والتقييم. فعلى سبيل المثال، نموذج Qwen، عند استخدامه للدلالة المبدئية أثناء الضبط الدقيق، لا يظهر التعلم غير المرئي خلال عملية التوليد عند عدم استخدام أي دلالة مبدئية.

بشكل عام، يبدو أن التعلم غير المرئي هو أثر هش من معلمات LoRA وسياق الضبط الدقيق، مما يجعله قناة غير مستقرة لنقل السلوكيات. في ضوء هذه النتائج، يتعين على الباحثين والمطورين إعادة التفكير في كيفية تصميم وتدريب نماذج اللغة لضمان عدم نقل سلوكيات غير مرغوب فيها.

ما رأيكم في هذا التطور؟ هل تعتقدون أنه يمكن استخدام هذه الظاهرة بشكل إيجابي؟ شاركونا آرائكم في التعليقات.