التعلم المستمر: تكلفة التسلسل وأثرها على الأداء

تشكل تحديثات المهام المتسلسلة أساس التعلم المستمر، ولكن الميول السلبية التي تكتنفها قد تفرض تكاليف أداء دائمة. في دراسة جديدة، تم فحص هذه التكلفة من خلال نموذج الارتباط الخطي المفرط البارامترات مع أخذ عينة متسلسلة للمهام المستقلة (i.i.d. task sampling). وُجد أن النسيان على مستوى التوزيع وفقدان السكان يتقاربون إلى نفس الحد المتحرك.

كما يتميز هذا الحد المشترك بفصل دقيق بين الخسارة المتأصلة التي يتم الوصول إليها تدريجياً من خلال التدريب المشترك، وبين التكلفة الإضافية الناتجة عن التحديثات المتسلسلة. وفي هندسات المهام الأكثر تجانساً، يتوافق المصطلحان مما يجعل الخسارة الكلية مرتين مقارنة بالتدريب المشترك.

أدت هذه الدراسة إلى تحليل تقنيات مثل التثبيت المرن للوزن الثابت (EWC) تحت انحناءات المهام العامة، حيث تم تصنيف تكلفة التسلسل في كل مستوى من مستويات التنظيم. لاحظ الباحثون أنه تحت تنظيم قوي، تتناقص التكلفة بشكل عكسي مع قوة EWC، بينما تتباطأ عملية التقارب إلى حالة الاستقرارية بنفس المقياس.

في النهاية، تم قياس النظرية بدقة التكاليف الناتجة عن تفضيلات المستخدمين المتعارضة بشكل طبيعي وتأثير استخدام EWC في تقليل هذه التكاليف باستخدام مجموعة بيانات تقييم النكات Jester.