كشف أسرار النماذج الزمنية التوليدية: كيف تؤثر البيانات النادرة على النتائج؟

في دراسة حديثة تم نشرها على منصة arXiv، تم تسليط الضوء على تأثير البيانات التي تركز فيها الكتلة الاحتمالية على قيمة واحدة معينة، مثل عدم هطول الأمطار أو عدم طلب الركوب، على أداء النماذج الزمنية التوليدية (Generative Time-Series Models).

العرض البرهان الذي تم الكشف عنه يوضح بأن إجراءات التقييم التقليدية، مثل البروتوكول Rolling-Origin، قد تقلل من فعالية النتائج بشكل كبير عندما لا تتطابق بنية نافذة الاختبار مع توزيع البيانات المستخدمة للتقييم. ففي حالة واحدة، كانت نسبة البيانات صفرية تمثل 42% بينما كانت نسبة الاختبارات المستخدمة 13%.

ولم يكن هذا مشكلة تجميلية، بل تسبب في تغيير استنتاجات هامة، حيث ظهر أحد النماذج الأضعف كأكثر قوة في دراستنا. ومع ذلك، قدم البحث أيضًا آلية تحكم تعمل على تثبيت معيار CRPS، مع تدمير الارتباط الزمني، مما يتيح قياس تأثير ذلك الارتباط على إحصاء معين.

علاوة على ذلك، أظهرت التجارب التي تم فيها اختبار سبعة نماذج تحت بروتوكول متطابق عبر خمسة بذور، أن النموذج المعتمد على التلقائية (Autoregressive Hurdle) تفوق على نموذج التدفق الشرطي (Conditional Flow) في خمسة من أصل ستة مجموعات بيانات، بفارق يصل إلى 153 مرة. وعلى الرغم من ذلك، كانت إحصاءات الوقوع الخاصة بنموذج التدفق تتفاوت بنسبة 62% عبر بذور التدريب.

وأخيراً، أظهرت النتائج أن ترتيب النماذج ليس هو نفسه وفقًا لخمس إحصائيات مختلفة للوقوع، مما يدل على أن النماذج التي لا تتشارك في البناء الأكثر توافقًا تتفق بأقل قدر.