تحسين نماذج التعلم العميق لتصنيف السلاسل الزمنية عبر تقنية تقطير المعرفة

شهد التعلم العميق (Deep Learning) نجاحاً باهراً في مجالات متعددة، بما في ذلك تحليل السلاسل الزمنية (Time Series Analysis)، إلا أن التحديات المتعلقة بالمتطلبات العالية للذاكرة والحوسبة ما زالت تعيق نشر هذه النماذج في البيئات المحدودة الموارد. في هذا الإطار، تقدم تقنية تقطير المعرفة (Knowledge Distillation) حلاً فعالاً، حيث تسمح بنقل المعرفة من نموذج متقدم (أستاذ) إلى نموذج أصغر وأكثر كفاءة (طالب) دون أن تؤثر بشكل كبير على الأداء.

استنادًا إلى هذه المبادئ، قمنا بالتحقيق في فعالية تقطير المعرفة لتصنيف السلاسل الزمنية، مستخدمين ثلاثة نماذج معمارية مختلفة: الشبكة الالتفافية الكاملة (Fully Convolutional Network - FCN)، نموذج Inception القائم على الالتفاف، ونموذج ConvTran المستند إلى المحولات.

تم تقييم هذا الأسلوب باستخدام مجموعة بيانات UCR Archive، وهي أكبر مستودع مرجعي لمجموعات بيانات السلاسل الزمنية، حيث قمنا بتعديل مكونات العمارة مثل فلتر الالتفاف، وحدات Inception، ورؤوس الانتباه عبر النماذج الثلاثة.

أظهرت النتائج أن تقنية تقطير المعرفة تعود بفايدة أكبر على نماذج الطلاب متوسطة التعقيد في جميع المعماريات. إذ إن نموذج FCN الطالب، على سبيل المثال، قلص عدد المعلمات بمعدل 38 مرة، بينما حقق نموذج Inception الطالب أداءً قريبًا من النموذج البروفيسور مع 42% أقل من المعلمات. كما أظهر نموذج ConvTran الطالب الذي استخدم رأسين انتباه تحسناً ملحوظاً بفضل تقنية التقطير.

لتحفيز المزيد من الأبحاث وإمكانية التكرار، نقدم برنامجنا التطبيقي على GitHub: https://github.com/MSD-IRIMAS/KD-4-TSC.