في عالم الذكاء الاصطناعي، تمثل نماذج Transformers تقدماً ثورياً، حيث تمكنا من تطوير نموذج جديد يُعرف باسم "transformer العميق المستمر"، والذي يُطبق لبِّ أساسي مربوط بوزن متغير عدد مرات. وقد أظهرت الدراسات السابقة أن التدريب مع عدد تكرار عشوائي يُنتج نقطة تفتيش يمكن استخدامها عبر مجموعة من أعماق الاستدلال.

لكن السؤال الذي يطرح نفسه: ماذا يحسب هذا النموذج فعلاً لكل توكن؟ هذا ما تم قياسه بشكل مباشر في دراسة حديثة باستخدام نموذج يصل حجمه إلى 135 مليون توكن تم تدريبه على مجموعة بيانات FineWeb-Edu.

خلال التجارب، وُجد أن الحالة المتكررة تتقارب نحو نقطة ثابتة لكل توكن، حيث انخفض الـ KL divergence المتتالي من 0.39 عند الدورة الثانية إلى 0.0000085 بحلول الدورة السادسة. ومن المثير للاهتمام، أن هذه التقارب لم يكن uniforme بين جميع التوكنات. فبينما اتضحت ملامح بعض التوكنات بحلول الدورة السادسة، استمرت نحو 10% من التوكنات في التحديث عند عمق التدريب المتوسط الذي يبلغ 8.

هذا التنوع في التقارب يعد النقطة الأساسية للبحث. إذ أظهر الباحثون أنه من الممكن قراءة هذا التنوع بشكل مباشر، وأن القراءة منه تفوقت على التعلم التنبؤي.

استراتيجية جديدة قائمة على إيقاف كل توكن بمجرد استقرار ناتجه حققت جودة عمق 8 بمعدل 4.94 دورة، وهو ما يمثل تخفيضاً بنسبة 38% في العمق المتوسط. وعلى النقيض من ذلك، كان من الضروري للنموذج المدرب على تسميات التقارب أن يحقق عمقاً كاملاً دون تقديم أي تخفيض.

تمت هذه الدراسة باستخدام RTX 4090 على مدار نحو 100 ساعة GPU، حيث كانت النتائج تستند إلى قياسات دقيقة دون ادعاءات متعلقة بالسرعة الملموسة.