تعتبر الأنماط السكرية النادرة (Sparse Autoencoders) أدوات قيمة في فهم تمثيلات الشبكات العصبية، ولكن فعالية هذه النماذج تعتمد بشكل كبير على إمكانية تكرار الميزات المتعلمة عبر جولات التدريب المختلفة. في هذه المقالة، نقوم بتحليل مسألة “استقرار الميزات” من خلال تقدير احتمالية تكرار ميزات مشابهة في نماذج تم تدريبها بشكل مستقل.

تقدم الدراسات التي تم إجراؤها تحليلاً شاملاً، حيث تمثل علامات الاستقرار والعدم الاستقرار ميزات ذات أهمية عملية؛ فالميزات المستقرة تحمل معظم المعلومات الضرورية لإعادة البناء ومن ثم التنبؤ، بينما تتميز الميزات غير المستقرة بتأثير هامشي ضعيف يتمثل في تحفيزات سطحية منخفضة التردد.

على الصعيد الهندسي، تتواجد الميزات غير المستقرة في مناطق تكرارية منخفضة الرتبة، مما يوضح أن الاعتماد على البذور يعكس عادةً غموض الأساس في مساحة التفعيل المشتركة بدلاً من كونه ضجيجاً خالصاً. لتوضيح هذه الآلية، نقدم نموذجاً اصطناعياً يتحكم في هذا السياق ويظهر كيف يمكن استرداد الميزات الأساسية ذات الرتبة المنخفضة على مستوى الفضاء مع الحفاظ على عدم تحديدها كميزات فردية عبر بذور مختلفة.

أخيراً، من خلال تجميع الميزات الفريدة عبر البذور، نستطيع بناء نماذج SAEs أكثر استقراراً في حين نحتفظ بتفسير التباين في هذه الإعدادات. هذه النتائج تشير إلى أن الميزات غير المستقرة ليست مجرد ميزات فاشلة أو مشوشة، بل تعكس بنية منخفضة الأبعاد قابلة للتكرار، تتعامل معها نماذج SAEs بطريقة مختلفة عبر البذور.