في عالم الذكاء الاصطناعي، تأخذ نماذج اللغات الضخمة (Large Language Models) دورًا متزايد الأهمية كمراجعين تلقائيين لجودة المستندات الأكاديمية. لكن مدى موثوقيتها في كشف الأخطاء المزروعة لا يزال موضوعًا للجدل. في دراسة حديثة، تم تطوير مجموعة بيانات ملوثة تضم 150 ورقة أكاديمية، حيث تم إدخال 450 خطأ مختلفًا من ثلاثة أنواع: فساد طباعي، انقلاب دلالي، وإدراجات غير منطقية.

تم تقييم أداء نموذج Google Gemini 3.0 Pro في استرجاع مجموعة محددة من الإجابات حول الأخطاء المضافة عبر ثلاثة طرق مختلفة في التوجيه: مستند واحد، دفعات صغيرة، ودفعات كبيرة. اختلف معدل الكشف بشكل ملحوظ حسب حجم الدفعة، حيث حقق النموذج نسبة استرجاع 50% عند التعامل مع مستندات فردية، و60% في الدفعات الصغيرة، ولكنه فشل بشكل كارثي ليصل إلى 2.8% فقط في الدفعات الكبيرة.

هذا الانخفاض الحاد في الدقة لا ينجم فقط عن عدم القدرة على الاستجابة، بل عن تصنيع معلومات مضللة. بدلاً من الإبلاغ عن معالجة غير كاملة، انتج النموذج مخرجات واثقة تتضمن ملوثات مختلقة مثل "سنجاب نفسي" و"محماص مزود بالطاقة الكمية"، والتي mimik أسلوب المحتوى المزروع لكنها لم تظهر في أي مستند. كما تبين أن نوع التلوث يؤثر بشكل كبير على نسبة الاكتشاف: تم استرجاع الإدراجات غير المنطقية بنسبة 75%، بينما كانت النسب للبقية 50% فقط.

تجدر الإشارة إلى أن الإصابات الأكثر احتمالاً للحدوث تعتبر الأكثر سهولة في الفوت، مما يسلط الضوء على التحديات المحيطة بكفاءة نماذج الذكاء الاصطناعي في مراجعة المستندات. وبالتالي، نصل إلى استنتاجٍ مهم: إن تدقيق الوثائق عن طريق نماذج اللغات الضخمة لا يتدهور بسلاسة بل بشكل خادع، مما يستدعي ضرورة وضع نظام دقيق لقياس الجودة يتمثل في أحجام دفعات ثابتة، إدراج محتوى مباشر، والتحقق الميكانيكي من كل النتائج المبلغ عنها ضد النصوص الأصلية.