في عالم الذكاء الاصطناعي، يصبح التعلم المنسي (Unlearning) خطوة ضرورية لضمان توافق نماذج اللغة الكبيرة (Large Language Models) مع المتطلبات القانونية والأخلاقية، من خلال إزالة تأثير بيانات التدريب الخاصة أو المحمية. لكن المشكلة التي يواجهها الباحثون تكمن في أن عملية الضغط التي تتعرض لها هذه النماذج بعد التدريب، مثل الضغط الكمي (Quantization)، يمكن أن تؤدي إلى تأثيرات مضادة، حيث تضعف فعالية النسيان بل وتتدهور قدرة النموذج.
لذا، قدم الباحثون إطار عمل جديد لمواجهة هذا التحدي، يهدف إلى تحقيق نسيان قوي أثناء ضغط البيانات، مع الحفاظ على كفاءة النموذج العامة. من خلال تحليل سلاسل الخسارة (Loss Landscape)، حددوا معايير تعتمد على الانحناء (Curvature-Based Criteria) لاكتشاف الأوزان الحساسة في النموذج التي تؤدي إلى نسيان غير موثوق وتقليل الفعالية.
هذا الإطار يعتمد على تنظيم ضوضائي موجه للحساسية (Sensitivity-Guided Noisy Regularization)، وكما يُعرف بتوجيه التقارب نحو minima ناعم للخسائر سواء في النسيان أو الاحتفاظ بالمعلومات. وبالإضافة إلى ذلك، تم اقتراح تحسينات حرجة للنسيان (Forget-Critical Optimization) التي تُحدث فقط الطبقات الحرجة للنسيان، مما يحافظ على المعرفة المفيدة في النموذج.
واشنطن، تعززت النتائج من خلال تجارب مكثفة باستخدام معايير MUSE وTOFU التي أظهرت أن هذا النهج يحقق نسياناً أكثر مقاومة للضغط مع الحفاظ على الكفاءة. ولتيسير تطوير هذه التقنية، تم نشر الكود المُستخدم في العملية على منصة GitHub.
فهل سيكون هذا التطور هو الحل الأمثل لمواجهة تحديات التعلم المنسي؟
ثورة في الذكاء الاصطناعي: إطار عمل جديد للتعلم المنسي يقاوم ضغط البيانات!
تسعى الأبحاث الجديدة إلى تحسين قدرة نماذج اللغة الكبيرة على نسيان البيانات بشكل موثوق أثناء عمليات الضغط. إطار العمل المبتكر يقدم حلولاً فعّالة لتحقيق توازن بين نسيان المعلومات والحفاظ على كفاءة النموذج.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
