تُعدُّ معالجة نصوص ضخمة واحدة من التحديات الأساسية في مجال التعلم الآلي، حيث تلعب دورًا حيويًا في تحديد سلوكيات النماذج غير المرغوب فيها أو التحيزات في بيانات التدريب. في الوقت الراهن، تعتمد الطرق الحالية غالبًا على التقنيات المعقدة المبنية على نماذج اللغات الضخمة (LLMs) التي تتطلب تكلفة عالية، أو على نماذج التضمين الكثيف، والتي تفتقر إلى التحكم في الخصائص التي تهمنا.

لكن، ماذا لو كان هناك حل بديل يضمن تكاليف أقل مع نطاق أوسع من التحكم؟ هنا يأتي دور المُرمزات الأوتوماتيكية المتفرقة (SAEs) التي تقدم تصورات قادرة على المساهمة في فهم أفضل للبيانات. من خلال أربع مهام تحليلية، يُظهر البحث أن المُرمزات الأوتوماتيكية المتفرقة أكثر كفاءة وموثوقية مقارنة بالنماذج الكثيفة، كما أن لديها القدرة على كشف اختلافات دلالية بين مجموعات البيانات، بالإضافة إلى علاقات مفهوم غير متوقعة داخل المستندات.

على سبيل المثال، من خلال مقارنة ردود النماذج، وجد الباحثون أن نموذج Grok-4 يوضح الغموض بشكل أكثر فعالية من تسعة نماذج أخرى. وبالمقارنة مع نماذج اللغات الضخمة (LLMs)، تمكنت المُرمزات الأوتوماتيكية المتفرقة من توضيح الاختلافات بشكل أكبر بتكلفة أقل تتراوح بين 2 إلى 8 مرات، مع إمكانية تحديد التحيزات بشكل أكثر موثوقية.

تتحلى المُرمزات الأوتوماتيكية المتفرقة بالقدرة على التحكم، حيث يمكن من خلال تصفية المفاهيم (concepts) تجميع الوثائق على محاور معينة، وتفوق على نماذج التضمين الكثيف في استرجاع الخصائص. باستخدام هذه التقنية، تم دراسة سلوك النماذج من خلال حالتي دراسية، حيث تم التحقيق في كيفية تغير سلوك نموذج OpenAI بمرور الوقت، واكتشاف العبارات "التحفيزية" التي تعلمها نموذج Tulu-3 من بيانات تدريبه.

كل هذه النتائج تقلل من أهمية تقييم النماذج فورًا من خلال بياناتها وتضع المُرمزات الأوتوماتيكية المتفرقة كأداة متعددة الاستخدامات في تحليل البيانات غير المنظمة.