في عصر يُعتمد فيه بشكل متزايد على نماذج اللغات الضخمة (Large Language Models) لأداء مهام الذكاء الاصطناعي، تواجه هذه النماذج تحديات جديدة تتعلق بالبيانات المستخدمة في التدريب. فمع تزايد استخدام الخدمات عبر واجهات برمجة التطبيقات (APIs)، يمكن أن تتسبب البيانات المُولّدة بواسطة الأجهزة الطرفية في إدخال معلومات حساسة أو ضارة في سلوك النموذج. هنا يأتي دور مفهوم "الإزالة الآلية" (Machine Unlearning)، الذي يقدم حلاً عمليًا للتخلص من تأثير البيانات غير المرغوب فيها دون الحاجة إلى إعادة تدريب نماذج اللغات الضخمة بالكامل.

ورغم ذلك، لا تزال الطرق الحالية تواجه تحديين رئيسيين. أولاً، عدم إمكانية الوصول إلى معلمات النموذج الداخلية عند استخدام واجهات التطبيقات فقط، مما يجعل العملية تُشبه "الصندوق الأسود". ثانيًا، كيفية الحفاظ على الاستجابة الصحيحة عندما تتشارك البيانات غير المرغوب فيها والبيانات المُحتفظ بها في أنماط مشابهة للغاية.

لذا، اقترح فريق من الباحثين الإطار الجديد Controlled Behavioral Divergence (CBD)، الذي يُعد حلاً مبتكرًا يهدف إلى معالجة هذه التحديات. يعتمد CBD على استخدام نموذجين مساعدين لإنشاء تباين سلوكي مُتحكم فيه بين المدخلات المُحتفظ بها والمدخلات التي يتم إزالة تأثيرها. هذا التباين يُحوَّل إلى درجة ملاءمة للإزالة ويقوم بتوجيه الطلبات المتعلقة بالإزالة بعيدًا عن النموذج المستهدف.

لكن الأمر لا يتوقف عند هذا الحد، إذ يقوم CBD أيضًا بتحسين دقة التمييز عند وجود تشابه عالٍ بين البيانات المستهدفة والمُحتفظ بها، عبر بناء أساس تمييزي يعتمد على إحصائيات التدرج. وعند مقارنة CBD مع أحد عشر نموذجًا أساسيًا من أساليب الإزالة، أظهر تحسنًا ملحوظًا في توازن أداء الإزالة. فمثلاً، في اختبار ToFU forget10، اقترب أداء CBD من النموذج المُعاد تدريبه في مجموعة النسيان، بينما رفع دقة النموذج إلى 74.90، تفوق بنسبة 15% على أفضل نموذج ثانٍ. وفي اختبار WMDP، قلل CBD من دقة المعرفة الضارة إلى 25.68، قريبة من الاحتمالات العشوائية، مع الحفاظ على دقة MMLU عند 52.67.

إذا كنت مهتمًا بالشيفرة، يمكنك الاطلاع عليها هنا: [https://github.com/DGL-codes/CBD] وتصفح كيفية دمج هذه الابتكارات في نظامك اليومي.