في عصر يتزايد فيه الاعتماد على الذكاء الاصطناعي، تبرز الحاجة إلى مصادر بيانات عالية الجودة لدعم نماذج التعلم الآلي (Machine Learning). أحد الأنماط الرئيسية في بناء مجموعات التدريب التخصصية كان يعتمد بشكل كبير على تصفية أرشيفات الويب الكبيرة مثل CommonCrawl. بينما كانت هذه الطريقة فعالة في المجال العام، إلا أنها فشلت في تلبية احتياجات المجالات المتخصصة.

ومؤخراً، تم تقديم تقنية جديدة باسم "Data Scout"، التي تعكس هذا النهج التقليدي. بدلاً من تصفية الأرشيفات، تعتمد Data Scout على زحف مستهدف يقوم بتوجيهه نموذج لغوي ضخم (LLM) لتنمية موضوع أساسي إلى تصنيف شامل وآلاف من استعلامات البحث. يتم تجميع عناوين المواقع الإلكترونية (URLs) المرتبطة بهذا الموضوع وقام المستخدم بتصنيفها استنادًا إلى عينة صغيرة، مما يسمح بتحديد مدى ملائمة المحتوى.

ما يجعل تلك التقنية مثيرة للاهتمام هو أن مستويات الملاءمة أصبحت واضحة عند مستوى النطاق الفرعي: فمثلاً، في مجال الرياضيات، تكون احتمالية أن يكون المحتوى ذو صلة أكبر بـ 21 مرة مقارنة بمحتوى على نطاق فرعي آخر. باستخدام مُصنف FineMath كموجه، وجد أن 21.9% من الصفحات التي تم زحفها تحوي محتوى رياضي عالي الجودة، وهو معدل يفوق بكثير 0.31% فقط من عينة الويب المقارنة.

وهذا لا يتعلق بالكفاءة فقط، بل إن 63.2% من الصفحات التي تم العثور عليها غير موجودة أصلاً في CommonCrawl، لكنها ما زالت مفيدة جداً في تدريب النماذج. استمرارية التدريب على نموذج Llama-3.2-3B باستخدام 1.9 مليار من رموز Data Scout توازي مجموعة FineMath على GSM8k.

نظرًا لأن المُصنف هو العنصر الوحيد المحدد بالمجال، يمكن أن تُطبق Data Scout نظريًا على أي مجال يحتاج لمثل هذا التصنيف. بالتالي، يمثل Data Scout ثورة حقيقية في الطريقة التي يمكننا بها جمع المعلومات وتحسين عمليات التدريب الذكية.