هل يمكن للتعديل الدقيق أن يمحو تعديلاتك؟ استكشاف العلاقة الهشة بين تحرير المعرفة والتكيف

في عالم الذكاء الاصطناعي، يُعتبر تعديل المعرفة (Knowledge Editing) بديلاً خفيف الوزن لتحديث نماذج اللغات الضخمة (Large Language Models) مثل GPT-J. ومع ذلك، فإن التعديل الدقيق (Fine-Tuning) هو العملية القياسية المستخدمة لتكييف هذه النماذج مع مجالات ومهام جديدة. رغم الانتشار الواسع لهاتين التدخلتين بعد التمرين، إلا أن الدراسات السابقة تناولتهما بشكل منفصل، مما يفتح سؤالًا حاسمًا: إذا قمنا بتعديل نموذج بعد تحريره، هل ستظل التعديلات قائمة؟

هذا السؤال يثير اهتمامًا جادًا بسبب أهداف عملية: إزالة التعديلات الضارة أو الخفية، والحفاظ على التعديلات المفيدة. تظهر النتائج أن التعديلات غالبًا ما تتلاشى بشكل كبير بعد التعديل الدقيق، مما يؤدي إلى كفاءة منخفضة لطرق تحرير المعرفة، نظراً لأن النموذج الذي تم تعديله حديثًا يحتاج لإعادة تعديلات.

أظهرت الدراسة أن التعديل الدقيق لتلك الطبقات التي تم تعديلها كافٍ لإزالة التعديلات بفعالية مع تأثير معتدل على الأداء downstream. وعلى نحو مدهش، فإن التعديل الدقيق للطبقات غير المعدلة يؤدي إلى تدهور أكبر في التعديلات مقارنةً بالتعديل الدقيق لجميع الطبقات مجتمعة. بالإضافة إلى ذلك، يكشف تحليل الفضاء التنشيطي أن التعديل الدقيق ينتج عنه انتقال تمثيلي أكبر وأكثر اتساقًا من تحرير المعرفة. في النهاية، تؤكد دراستنا على ضرورة تقييم تحرير المعرفة ضمن سير العمل الأوسع لنماذج اللغات الضخمة.