في عالم الذكاء الاصطناعي، تشكل نماذج اللغات الضخمة (Large Language Models) إحدى أهم التطورات التقنية، لكن السلامة والدقة في المحتويات المحتملة تعتبر من أبرز التحديات. أدى تلوث المحتويات على الويب الصيني إلى إثارة مخاوف جدية بشأن جودة البيانات المستخدمة لتدريب هذه النماذج.

تظهر الأبحاث الحديثة أن القدرة على إجراء تدقيق شامل على مجموعات البيانات الواسعة التي تتعلق بمحتوى الويب الصيني ليست بالمهمة السهلة. تواجه هذه العمليات ثلاث تحديات رئيسية: 1) الحجم الضخم للمحتويات على الإنترنت المسبب لارتفاع تكاليف الفحص؛ 2) التحليلات السابقة ليست دقيقة بما يكفي لكشف التلوث على مستوى الرموز؛ 3) التلوث في المحتوى الصيني خفى وسريع التغير.

لتجاوز هذه العقبات، قدم الباحثون تقنية جديدة تسمى Sampled-BPE، وهي عبارة عن نظام تدقيق خفيف الوزن يركز على مستوى الرموز. يعتمد هذا النظام على أخذ عينة من مجموعة صغيرة وتدريب المحللات الخاصة بالرموز لإظهار الرموز الملوثة. لقد أظهرت التجارب أن هذه التقنية تحافظ على تقديرات جديرة بالاهتمام بينما تقلل بشكل كبير من الوقت اللازم والذاكرة المطلوبة بأكثر من 148 مرة وتقرب من 36 مرة الذاكرة، مع تحصيل خطأ نسبي يُقدر بـ 4.25% على فئات التلوث.

شمل التدقيق 11 مجموعة بيانات مفتوحة من الويب الصيني و6 نسخ من Web Crawl الصيني من عام 2021 حتى عام 2026، مما أظهر مستوى كبير لكن غير متكافئ من التلوث. كما تم كشف المحتوى الصيني الملوث بشدة والمتغير زمنياً.

إضافةً إلى ذلك، أتاح الباحثون قاعدة بيانات هرمية تضم أكثر من 660,000 سجل للرموز، كل منها يتضمن سياق الويب وفئات توضيحية للتلوث، مما يوفر أدوات مراجعة ومتابعة فعالة. هذا التطور يفتح المجال لمناقشة أهمية تنظيف البيانات المستخدمة في نماذج اللغة وكيف يمكن أن يؤثر التلوث على النتائج النهائية.