قياس عمق نسيان نماذج اللغات الضخمة: اكتشاف آليات جديدة لحماية الخصوصية

في عالم الذكاء الاصطناعي المتطور، تبرز أهمية حماية الخصوصية بشكل متزايد، وتأتي نماذج اللغات الضخمة (LLM) في طليعة التقنيات التي تتطلب آليات نسيان فعالة. لكن كيف يمكننا التحقق من أن المعلومات المستهدفة قد تم حذفها بالفعل؟ هنا تأتي أهمية العلامة الجديدة التي نعرضها في هذا المقال: علامة عمق النسيان (Unlearning Depth Score - UDS).

تسلط الأبحاث الأخيرة الضوء على صعوبة مراقبة فعالية عمليات النسيان، حيث تشير الدراسات إلى أن معظم المؤشرات الموجودة تركز على نتائج النماذج، مما يجعل من الصعب تحديد ما إذا كانت المعرفة المستهدفة لا تزال قابلة للاسترجاع من التمثيلات الداخلية.

تقوم علامة عمق النسيان (UDS) بقياس درجات العمق الآلي لعمليات النسيان من خلال تقنية تُعرف بتعديل التفعيل. إذ تبدأ هذه العلامة بتحديد الطبقات التي تحتوي على المعرفة المستهدفة باستخدام نموذج أساسي، ثم تقيس مقدار هذه المعرفة الذي تم مسحه في النموذج الذي تم نسيانه، على مقياس يتراوح بين 0 و1.

في دراسة شاملة تضم 20 مقياساً على 150 نموذجاً مختلفاً تم نسيانها باستخدام 8 طرق مختلفة، أثبتت علامة UDS أنها الأكثر موثوقية وفعالية، مما يؤدي إلى تعزيز منهج تقييم النسيان. كما تكشف دراسات حالة أخرى أن المقاييس البيضاء قد تتعارض عند المستوى الطبقي وأن عمق الحذف يختلف باختلاف الحالات.

نقدم إرشادات متكاملة لإدماج علامة UDS في الأطر الحالية للتقييم، مما يسهم في تحسين سير عمل التقييم بشكل ملحوظ. ولمن يرغب في الاستكشاف أكثر، يمكنكم الاطلاع على الشيفرة والبيانات المتاحة على رابط GitHub.