في عالم الذكاء الاصطناعي، يلعب التعلم المستمر (Continual Learning) دورًا محوريًا في تمكين أنظمة الذكاء الاصطناعي من التكيف مع المهام الجديدة دون فقدان المعلومات السابقة. في هذا السياق، نقدم لكم التقنية الجديدة Soft-TransFormers (Soft-TF) التي تم تطويرها استنادًا إلى فرضية تذكرة اليانصيب المهيأة جيدًا (Well-initialized Lottery Ticket Hypothesis - WLTH).

تعمل Soft-TF من خلال تكيف نموذج Transformer المدرب مسبقًا باستخدام شبكات فرعية محددة للمهام، حيث تعتمد على أقنعة تعبير ذات قيمة حقيقية تعمل على المسارات الهيكلية للطبقات ذات الانتباه الذاتي (Self-Attention). تبدأ عملية تحسين الأداء من وضعية المدرب مسبقًا، وهذا يضمن أن يتجه نسق الأخطاء بعيدًا عن فقدان المعلومات السابقة.

توفر هذه التقنية عددًا من الخصائص المثيرة للإعجاب؛ حيث أن الشبكات الفرعية لكل مهمة تبقى قريبة من الحلول المدربة مسبقًا، مما يعني أن معدل الخطأ في المهام يمكن أن يتساوى تقريبًا مع الحلول العامة المعروفة. وتساهم خاصية عدم كتابة الأقنعة الجديدة في القضاء على فقدان المعلومات الهيكلي، مما يمهد الطريق لأداء متسق ولقدرة على التعلم السلس.

وعندما يتم دمج Soft-TF مع تقنيات أخرى مثل L2P وDualPrompt، فإن ذلك يساعد في تحديد الأقنعة بناءً على مفاتيح المهام ومعايير معينة. وفقًا للاختبارات التي أجريت على مجموعة من مجموعات البيانات مثل Split-CIFAR100 وSplit-ImageNet-R، أثبتت Soft-TF تفوقها على الطرق التقليدية في التعلم المستمر مع الحفاظ على تكلفة الاستدلال مماثلة للنموذج الأصلي.

فهل تعتقد أن هذه التقنية ستعيد تشكيل ممارسات الذكاء الاصطناعي في المستقبل؟ شاركونا آرائكم في التعليقات!