على مر السنوات، واجه الباحثون في مجال التنبؤ بالسلاسل الزمنية أزمة مستمرة تتمثل في أن نماذج الشبكات العصبية البسيطة (MLP) والنماذج الخطية غالبًا ما تتفوق على نماذج Transformers ذات القدرات العالية. هذا المفارقة تعود إلى عدم توافق معين في نمذجة التسلسل. حيث تُحكَم ديناميكيات العديد من السلاسل الزمنية بواسطة عوامل زمنية عالمية، مثل التصفية والتراكيب التوافقية، بينما النماذج التقليدية تعتمد على تشكيل كل مخرجاتها كمزيج مقعّر من المدخلات، مما يحد من قدرتها على تمثيل التحولات الموقعة والمتموجة اللازمة لمعالجة الإشارات الزمنية.

لذلك، قمنا بتشكيل هذا القيد كمشكلة معروفة تُعرف باسم عنق الزجاجة في خلط الانتباه الناعم، والتي تصبح مقيدة بشكل خاص عند التعامل مع مهام السلاسل الزمنية المعتمدة على العوامل. للتغلب على ذلك، نقدم إطار عمل جديد يُعرف باسم انتباه العمليات الزمنية (TOA)، الذي يعزز الانتباه بواسطة عوامل زمنية قابلة للتعلم، مما يسمح بخلط موقّع مباشر عبر الزمن مع الحفاظ على القدرة على التكيف بحسب المدخلات.

لجعل عوامل N × N كثيفة قابلة للتطبيق، قدمنا تقنيات تنظيم العوامل العشوائية، وهي آلية تخفيف ذات تباين مرتفع تعمل على استقرار التدريب وتمنع التذكر التافه. من خلال تطبيق TOA على اختبارات التنبؤ واكتشاف الشذوذ والتصنيف، لوحظ تحسين مستمر في الأداء عند دمجه مع النماذج القياسية مثل PatchTST وiTransformer، مع تحسينات ملحوظة في المهام التي تعتمد بشكل كبير على إعادة البناء. تشير هذه النتائج إلى أن تعلم العوامل الصريحة يعد عنصرًا أساسيًا لنمذجة السلاسل الزمنية بشكل فعّال.