تعتبر نماذج اللغة (Language Models) من الأدوات القوية في عالم الذكاء الاصطناعي، إلا أن لديها قدرة غريبة تمكّنها من تخزين المعلومات، مما قد يتسبب بعواقب وخيمة عند استخدامها لاسترجاع بيانات حساسة أو خاصة. في هذا السياق، عمل الباحثون على تطوير استراتيجيات لمكافحة هذه الظاهرة، حيث توصلوا إلى مجموعة متنوعة من الأساليب التي يمكن أن تخفف من مشكلة الذاكرة في هذه النماذج.

تم تقسيم الأساليب الجديدة إلى ثلاثة أنواع رئيسية: الأولى تتعلق بالمنظمين (Regularizers)، والثانية تتعلق بعمليات الاستكشاف الإضافية (Fine-tuning)، والثالثة تعتمد على تقنيات التعلم غير الذاتي (Machine Unlearning). وقد أطلق الباحثون على أساليب التعلم غير الذاتي تسمية "BalancedSubnet"، وهو أسلوب مبتكر يحقق نجاحاً في إزالة المعلومات المخبأة مع الحفاظ على الأداء الجيد للنموذج.

كما تم تطوير "TinyMem"، وهو مجموعة من نماذج اللغة الصغيرة والكفاءة الحاسوبية، والتي تتيح للمطورين اختبار الأساليب الجديدة في بيئة سهلة وسريعة.

أظهرت التجارب أن الأساليب المستندة إلى المنظمين كانت بطيئة وغير فعّالة في تقليل مشكلة الذاكرة، بينما كانت طرق الاستكشاف الإضافي فعالة، ولكنها عالية التكلفة. بالمقابل، أثبتت طرق التعلم غير الذاتي أنها أسرع وأكثر فاعلية في إزالة المعلومات غير المرغوب بها قبل إجراء الاستدلال. المعلومات الجديدة هذه تعزز من حماية البيانات الخاصة وتفتح آفاقاً جديدة لصناعة الذكاء الاصطناعي.