في عالم الذكاء الاصطناعي، وبالتحديد في نماذج اللغة الضخمة (Large Language Models)، يبرز مفهوم 'النسيان' كأحد التحديات الرئيسة التي تواجه المطورين. مع تزايد الاهتمام بالقوانين المتعلقة بالخصوصية ومتطلبات الأمان، أصبحت الحاجة إلى طريقة فعالة لنسيان المعلومات غير الضرورية ملحة. ومع ذلك، فإن تحقيق نسيان دقيق دون المساس بالعائد العام للنموذج يعد مهمة صعبة.

الأساليب الحالية تعتمد بشكل كبير على مستوى تسلسل الإخراجات وكما أن إلغاء البيانات المستهدفة قد يؤدي إلى تعطيل الهيكل اللغوي أو قمع المعلومات المفيدة. هنا يظهر الإطار الجديد المعروف باسم ADU، الذي ينقل مفهوم النسيان من مجرد إلغاء البيانات إلى فصل مسارات الانتباه السياقية.

يعتمد ADU على الفروقات الوظيفية بين رؤوس الانتباه المحلية والعالمية لتحديد مواقع وراثية تقوم بإعادة استرجاع نقاط حساسة، ومن ثم يقوم بتدريب محولات الانتباه لتقليل التركيز على هذه المسارات مع الحفاظ على بنية الانتباه المحلي ونموذج اللغة.

بعد الانتهاء من التدريب، يتم اختبار تفعيل-module الناتج لتحديد ما إذا كانت تأثيرات النسيان قد تم نقلها بنجاح. النتائج تظهر أن ADU حقق أداءً ممتازًا بين البدائل المعتمدة، محققًا دقة نسيان بلغت 0.93 على معيار TOFU مع الحفاظ على 87-98٪ من فعالية النموذج. بمتوسط أداء يصل إلى 92.9٪ مقارنة بـ 81.9٪ للبدائل الأخرى، يمثل ADU خطوة مهمة نحو تحقيق أهداف الخصوصية في نماذج اللغة الضخمة دون التأثير السلبي على الأداء.