تتجه الأبحاث الحديثة إلى تحليل كيفية تعامل الرموز الهوائية القليلة (Sparse Autoencoders) مع المفاهيم وتمثيلها. يُستخدم هذا النوع من الرموز بشكل واسع لاستخراج ميزات قابلة للتفسير من تمثيلات الشبكات العصبية، وغالباً ما يُفترض أن المفاهيم تتوافق مع اتجاهات خطية مستقلة. ومع ذلك، تشير الأدلة المتزايدة إلى أن العديد من المفاهيم تنظم في الواقع على حوامل منخفضة الأبعاد تشفر العلاقات الهندسية المستمرة.

تطرح هذه النتائج ثلاثة أسئلة أساسية: ما الذي يعنيه أن يتمكن نموذج الرموز الهوائية القليلة من التقاط حوامل؟ متى تتوافق تصاميم الرموز الهوائية الحالية مع هذا الهدف؟ وكيف يتم ذلك؟

طور الباحثون إطارًا نظريًا للإجابة على هذه التساؤلات ووجدوا أن الرموز الهوائية القليلة يمكن أن تلتقط الحوامل بطرق مختلفة بشكل جذري: أولاً، بشكل عام من خلال تخصيص مجموعة متقاربة من العناصر (atoms) التي تغطي الحامل بالكامل، وثانيًا، بشكل محلي من خلال توزيعها عبر ميزات تُغطي كل منها منطقة محدودة من الهندسة الأساسية.

من الناحية التجريبية، تم اكتشاف أن الرموز الهوائية القليلة تتعافى بشكل غير مثالي من الهياكل المستمرة، حيث تخلط بين الحلول العامة والمحلية في نظام مجزأ يُعرف باسم التخفيف (dilution). كما يفسر ذلك لماذا نادراً ما تظهر بنية الحوامل على مستوى المفاهيم الفردية.

تشير نتائجنا بشكل أوسع إلى ضرورة أن تتعامل أساليب التعلم في المستقبل مع الكائنات الهندسية، وليس فقط الاتجاهات الفردية، باعتبارها الوحدات الأساسية للتفسير والتوضيح.