تجاوز MSE: إعادة التفكير في معايير التقييم واختبارات الأداء لتنبؤات السلاسل الزمنية غير المنتظمة

في السنوات الأخيرة، حظيت السلاسل الزمنية غير المنتظمة باهتمام كبير في مجال الذكاء الاصطناعي، إلا أن الأبحاث ركزت بشكل أساسي على تصميم النماذج، بينما بقيت معايير التقييم غير كافية. يتم اعتبار معيار الخطأ التربيعي المتوسط (MSE) المعيار القياسي لتقييم الأداء، ولكن هل هو حقًا كافٍ لتقييم دقة التنبؤات في سياقات زمنية غير منتظمة؟

تكشف الدراسات الحديثة أنه في حالة التنبؤ بالسلاسل الزمنية غير المنتظمة، يتأثر MSE ليس فقط بتنبؤ النموذج، بل أيضًا بتوزيعات عينة الطوابع الزمنية المحددة، مما يؤدي إلى تقييم منحاز لأداء النموذج في الزمن المستمر. وهذا يعني أن استخدام MSE كمؤشر قد لا يعكس بدقة كفاءة النماذج في المواقف الواقعية.

لمعالجة هذه القضية، تم اقتراح معيار جديد يسمى الخطأ التربيعي الزمني المستمر (CSE)، الذي يستخدم وزن الأهمية لإزالة تأثير توزيعات الطوابع الزمنية. وقد تم إثبات نظريًا أن الخطأ التقديري لـ CSE بالنسبة للمخاطر الزمنية المستمرة ليس أكبر من نظيره في MSE.

علاوة على ذلك، تم إنشاء اختبار شامل يغطي مجموعات بيانات صناعية وشبه صناعية، بالإضافة إلى ثمانية مجموعات بيانات من العالم الحقيقي، للتحقق من فعالية CSE وتقييم أداء النماذج في الزمن المستمر بشكل منهجي. أظهرت التجارب أن CSE يمكن أن يستعيد المخاطر المستمرة بدقة أكبر من MSE، وأن الاعتماد على MSE وحده قد لا يعكس بشكل كامل الأداء التنبؤي للنماذج في السيناريوهات الواقعية. للحصول على الشيفرة، يمكنكم زيارة رابط المشروع على GitHub.