تسرب الخصائص الخفية: كيف ينقل طلاب الذكاء الاصطناعي المهارات من معلميهم؟

في عالم الذكاء الاصطناعي، لم يعد من الغريب أن يتقاسم النماذج مهارات فيما بينها. ولكن السؤال الذي يطرح نفسه: كيف يمكن لنموذج تدريب على ضوضاء بسيطة أن يرث قدرات تصنيف الأرقام من نموذج آخر مجتهد؟ في إحدى الدراسات الأخيرة المنشورة، تم تسليط الضوء على مفهوم جديد يُعرف بتسرب الخصائص الخفية (Covert Trait Propagation) حيث يُظهر البحث أن الطلاب المتعلمين يمكنهم احتضان مهارات معلميهم إذا تواجدت بداية مشتركة.

من خلال العمل في إطار تحليل الشبكات المتعددة الطبقات (MLP) على بيانات MNIST، خلص الباحثون إلى أن هذه القنوات ليست فقط معلوماتية، بل تتطلب توازي هندسي للوصول إلى المعلومات التي تحملها. وفقاً للنتائج، يصبح التحجيم المشترك لصيغة الإخراج W_2 مفتاحاً مشتركاً للتنسيق، بينما تعمل تدرجات KL على إعادة تشكيل مدخلات الطلاب حتى تتماشى تمثيلاتهم المخفية مع تلك الخاصة بالمعلم.

تم دعم هذا المفهوم من خلال خمسة تجارب أثبتت أن إغلاق القنوات يتعقب انزياحات الأوزان وليس دقة المعلم، وأن تجميد W_0 يدمر عملية النقل بينما يُبقي تجميد W_2 عليها سليمة. علاوة على ذلك، يظهر بحث جديد أن تفاعل السلوكيات داخل النماذج الكبيرة المدربة على المهام (Instruction-Tuned LLMs) يبدو أنه يفعل ذلك عن طريق تدريب التوافق، مما يشير إلى أهمية الهيكل الداخلي في توجيه عملية التعلم.

إن فهم كيف تنتقل المعرفة بين النماذج ليس فقط مثيراً للدهشة، بل هو خطوة مهمة في تطوير الذكاء الاصطناعي. لا تترددوا في مشاركتنا آرائكم! ما رأيكم في هذه الآلية المثيرة للاهتمام؟