في دراسة جديدة نشرت في arXiv، تم تسليط الضوء على أهمية التوكنات الذاكرية (memory tokens) في تعزيز أداء محولات الكونية (Universal Transformers)، وخصوصًا في سياق معالجة الألغاز المنطقية مثل لغز السودوكو. تم استخدام خوارزمية التفعيل التكييفي (Adaptive Computation Time - ACT) على مجموعة بيانات معقدة، حيث أظهرت النتائج أن الافتقار إلى هذه التوكنات يؤدي إلى أداء ضعيف في جميع التجارب.

أحد الاكتشافات البارزة في هذه الدراسة هو أن العدد الأمثل من التوكنات يمكن أن يؤثر بشكل كبير على النتائج. فقد أظهرت التجارب أن 4 توكنات يمكن أن تكون حدًا أدنى غير كافٍ، بينما يبدأ الأداء في التحسن بشكل ملحوظ عند استخدام 8 توكنات، حيث نجحت النماذج في معالجة الألغاز ذات الـ 81 خلية بدقة تصل إلى حوالي 57.4%.

كشف الباحثون أيضًا عن فخ في تهيئة التوجيه يؤثر على أكثر من 70% من التجارب التدريبية، مما أدى إلى توقف هذه النماذج عن العمل بعد بضع خطوات. ولكن، ومع تغيير التهيئة إلى إسناد سالب، تمكنوا من تفادي هذه المشكلة.

عند المقارنة بين ACT والمعالجة العمقية الثابتة، أظهرت النتائج أن ACT توفر نتائج أكثر اتساقًا ودقة، مما يعزز قيمتها في تطوير نماذج الذكاء الاصطناعي. ومع هذه الاكتشافات، يبدو أن الطريق مفتوح أمام أبحاث جديدة في تحسين الأداء والاستنتاج الذكي.