استراتيجية مذهلة: التعلم المستمر لإزالة المحتوى الضار من نماذج اللغة الكبيرة

تواجه نماذج اللغة الكبيرة (Large Language Models) تحديات متزايدة تتعلق بضرورة إلغاء حفظ المحتوى الذي يشكل خطرًا على الخصوصية أو يعتبر محميًا بحقوق الطبع والنشر. ورغم أن الأساليب الحالية لإلغاء التعلم تركز بشكل رئيسي على سيناريوهات حذف فردية، فإن الطلبات الحقيقية على الحذف تتزايد باستمرار. وقد أوضح الباحثون أن تطبيق هذه الأساليب بشكل عابر على الطلبات المتتابعة يمكن أن يؤدي إلى تدهور الأداء بشكل كبير ومعاناة النموذج من نسيان كارثي.

للتغلب على هذه التحديات، تم اقتراح إطار عمل متين يعرف باسم 'FIT'، والذي يعمل على معالجة سلاسل حذف البيانات التي تأتي بكميات عالية دون أن يتأثر الأداء. يعتمد هذا الإطار على ثلاث آليات تآزرية تعزز من استقراره: تصفية الزائد، اختيار الخوارزميات adaptively المعتمدة على الأهمية، ونسبة الهدف في الطابق المستهدف.

علاوة على ذلك، قام الباحثون بتقديم معيار واحد يشمل المحتوى الشخصي، والمحتوى المحمي بحقوق الطبع والنشر، والمحتوى الضار، مع قياسين متعادلين يتمثلان في درجة النسيان (Forget Degree) وفائدة الاحتفاظ (Retain Utility) لتحديد التوازن بين النسيان والحفاظ على المنفعة بشكل منهجي.

أظهرت التجارب التي أجريت على خمس نماذج لغوية كبيرة (Large Language Models) تتراوح معلماتها حتى 14 مليار مدى فعالية طريقة 'FIT' في إلغاء التعلم، مع الحفاظ على أداء النموذج. وتجدر الإشارة إلى أنه حتى بعد مئات الطلبات المتعاقبة، استطاع 'FIT' أن يحافظ على أداء قوي في التطبيقات اللاحقة، مما يظهر مقاومة ملحوظة ضد الهجمات المرتبطة بإعادة التعلم واستعادة البيانات.