تعتبر نماذج اللغة الكبيرة (LLMs) من الأدوات الثورية في عالم الذكاء الاصطناعي، حيث تُستخدم في العديد من التطبيقات التي تتطلب معلومات دقيقة ومحدثة. ومع ذلك، يمثل إعادة تدريب هذه النماذج تحديًا كبيرًا نظرًا لاحتياجه إلى موارد حسابية ضخمة. هنا تأتي أهمية تقنيات تحرير المعرفة التي تهدف إلى تحديث المعلومات وتصحيح الافتراضات الخاطئة داخل النماذج المسبقة التدريب.

تشير الأبحاث الحديثة إلى أن المعايير المتبعة حاليًا لتقييم عمليات تحرير المعرفة تركز بشكل رئيسي على استرجاع الحقائق المعدلة، متجاهلة التأثيرات المنطقية المترتبة على تلك التعديلات. لمعالجة هذه الإشكالية، قدم الباحثون معيارًا جديدًا يقيم كيفية تعامل أساليب تحرير المعرفة مع العواقب المنطقية لتعديل معين.

يعتمد هذا المعيار على استخراج قواعد منطقية ذات صلة من رسم بياني للمعرفة (Knowledge Graph) مرتبط بالتعديل المطلوب. يتم توليد أسئلة متعددة المراحل بناءً على تلك القواعد لتقييم التأثيرات المنطقية.

وتوضح النتائج أن الأساليب الحالية يمكن أن تقوم بإدخال افتراضات مباشرة إلى نماذج LLMs بدقة، لكنها كثيراً ما تفشل في تضمين المعرفة المترتبة بشكل منطقي. وفي هذا السياق، أظهرت التجارب التي أجريت مع أساليب معروفة مثل ROME وFT وجود فجوة أداء ملحوظة تصل إلى 24% بين التقييمات على المعرفة المعدلة مباشرة والمعرفة المترتبة.

تُبرز هذه النتائج الحاجة الملحة إلى تطوير أطر تقييم واعية بالمعنى لإجراء عمليات تحرير المعرفة بشكل فعال، مما يسلط الضوء على أهمية الدقة في عالم الذكاء الاصطناعي.