لا تزال نماذج الفضاءات الحالة (State Space Models) تشغل مكانة مهمة في عالم نمذجة تسلسلات اللغة، حيث تبرز كبديل جذاب لنماذج التحويل (Transformers) وذلك بفضل قدرتها على تقديم أداء جيد مع ذاكرة ثابتة وحسابات خطية. على الرغم من ذلك، ما زالت هذه النماذج تجد صعوبة في تحقيق نفس مستوى الأداء مثل التحويلات عند الضرورة إلى التعلم السياقي (in-context learning) واسترجاع المعلومات بدقة. في دراستنا الأخيرة، قمنا بتحليل دور آلية البوابات، وهي عنصر شائع في الشبكات العصبية المتكررة الحديثة، لفهم أي كيفية يؤثر وجودها على أداء نماذج الفضاءات الحالة.

لقد أظهرنا أن نجاح أو فشل نماذج الفضاءات الحالة في مجالات معينة يمكن تبريره من خلال دراسة هذه الآلية. تبين التجارب أن آلية البوابة تُجبر نماذج الفضاءات على التعلم أولاً من خلال الحلول المرتبطة بالتذكر، بينما تؤجل أو حتى تمنع الوصول إلى حلول التعلم السياقي الصحيحة. تجري هذه الظاهرة حتى في الحالات التي لا توجد فيها قيود بنيوية أو تتعلق بسعة الذاكرة. ومع ذلك، تظهر النتائج أيضًا أن وجود آلية البوابة يمكن أن يُحسن من القدرة على التعميم لمدد تسلسلية طويلة. هذه النتائج تسلط الضوء على الدور الحاسم لآلية البوابة في تنظيم ديناميكيات التدريب والتعميم في نماذج الفضاءات الحالة، وتوفر أساسًا لفهم وتحسين نماذج الزمن الخطي.