في دراسة حديثة تهدف إلى فهم تأثير النفي على نماذج اللغات الضخمة (LLMs)، تم تحليل قدرتها على معالجة النفي، وهو عنصر أساسي في اللغة البشرية. وأظهرت النتائج أن هذه النماذج تعيد نفس الإجابة سواء تحت تأثير النفي أو أمام السؤال نفسه بنسبة تتراوح بين 37% و71%، مما يبرز ضعفها في هذا المجال.

تم استخدام معايير تقييم متقدمة لاختبار النماذج مفتوحة المصدر والمغلقة، حيث تم التعرف على أن الآليات المستخدمة في معالجة النفي لا تتوافق مع الطريقة التي يدرك بها البشر النفي. على سبيل المثال، عند سؤال مثل "ما هي ليست عاصمة إسبانيا؟"، قد ترد النماذج بنفس الإجابة الخاطئة، مثل "مدريد"، بدلاً من تقديم بديل صحيح مثل "باريس".

تكمن المشكلة في كيفية عمل النماذج، حيث تعتمد على كبح استرجاع الإجابة الأصلية بدلاً من استخدامها لتحديد ما يجب استبعاده. وبذلك، يجد نموذج الذكاء الاصطناعي نفسه في موقف يمكنه من تكرار الإجابة الأصلية إذا كانت آلية الكبح ضعيفة أو عند وجود انحياز نحو إجابات معينة.

لتحسين هذه الآلية، تم اقتراح أهداف تدريب جديدة تتطلب تغييراً أكبر في تفضيل الإجابات عند التنبؤ بثقة أكبر، وأثبتت هذه الأهداف فعاليتها في تقليل أخطاء النفي دون التأثير الكبير على الأداء العام للنماذج.

باختصار، تكشف هذه الدراسة عن أهمية التحليل الميكانيكي لكشف الأسباب الكامنة وراء فشل القدرات اللغوية في النماذج، مما يتيح توجيه عمليات التدريب نحو معالجة القيود الأساسية للنماذج.