في عالم الذكاء الاصطناعي، تُعتبر عملية "نسيان" البيانات (Unlearning) في نماذج اللغات الضخمة (LLMs) موضوعًا حيويًا. تهدف هذه العملية إلى إزالة معلومات محددة، ولكن كيف يتم تقييم فعاليتها؟ غالبًا ما يعتمد التقييم على مقاييس أداء سطحية مثل الدقة (Accuracy) والدقة النسبية (Perplexity)، وهو ما يظهر نتائج مُضللة.
لدينا بحث جديد يكشف أن النماذج يمكن أن تبدو كأنها نسيت المعلومات، بينما يمكن بسهولة استعادة سلوكها الأصلي من خلال تعديل قليل. هذه الظاهرة، المعروفة باسم “القدرة على التراجع” (Reversibility)، تشير إلى أن المعلومات ليست محذوفة تمامًا، بل مُكتومة.
لتسليط الضوء على هذه الفجوة الهامة في عملية التقييم، قدم الباحثون إطارًا جديدًا يُعرف بـ "تحليل مستوى التمثيل" (Representation-Level Analysis Framework). يتضمن هذا الإطار أدوات مثل تحليل المكونات الرئيسية (PCA)، ومحاذاة النواة المركزية (Center Kernel Alignment - CKA)، ومعلومات فيشر (Fisher Information)، ومدى تمثيل الانجراف (Mean PCA Distance) لقياس تأثير الحذف.
عبر تطبيق هذا الإطار على عدة طرق غير تعلم البيانات، مجالات معلومات، ونماذج لغوية، تم التعرف على أربع فئات متميزة من حالات النسيان استنادًا إلى قدرتها على التراجع ودرجة الكارثية. كما تم مقارنة استراتيجيات الاسترداد وتبين أن كفاءة إعادة التعلم تعتمد على مصدر البيانات.
وفي النهاية، يكشف البحث عن تحديات كبيرة في نسيان البيانات بطرق لا يمكن عكسها، مما يوفر رؤى قيمة لتطوير خوارزميات للحذف أكثر موثوقية.