في عالم الذكاء الاصطناعي، تلعب المحولات الأوتوماتيكية النادرة (Sparse Autoencoders) دوراً محورياً في فهم الآليات، من خلال تحليل تنشيطات المحولات وتحليلها إلى ميزات فردية. بينما اعتاد الباحثون على تقييم هذه الميزات عبر قوائم الرموز النشطة أو وزنيات فك الضغط، فإن تحليل Weisfeiler-Lehman الجديد يغير هذه القاعدة من خلال تقديم تمثيل رسومي مبتكر.

فبدلاً من التقيد بالتحليلات التقليدية، يعتمد هذا الأسلوب الجديد على تمثيل الرسوم البيانية، حيث يتم تمثيل كل ميزة من ميزات المحولات الأوتوماتيكية النادرة كرسم بياني يوضح تكرار الرموز. في هذا التمثيل، تمثل العقد (nodes) الرموز الأكثر تكرارًا بالقرب من التنشيطات القوية، بينما تربط الحواف (edges) الأزواج التي تتواجد معًا ضمن نوافذ السياق المحلية.

يستخدم التحليل أسلوبًا خاصًا من الرسوم البيانية، حيث يقوم بتصنيف هذه الميزات في مجموعات تمثيلية تتضمن حزم أنماط معروفة، مثل الأنماط الكثيفة بالترقيم، عناقيد اللغات والكتابات، وقوالب برمجية. هذا ما يميز الطرح الجديد — يزيد من العمق في تحليل العلاقة بين الميزات التي لم يتم رصدها سابقًا من خلال الأساليب التقليدية، مما يظهر تشابهات هيكلية معقدة.

عند تطبيق هذا الأسلوب على ميزات نموذج GPT-2 Small، تم التوصل إلى استنتاجات مثيرة تؤكد أن هذا الإطار الجديد يساهم بشكل تكميلي في التحليلات التقليدية، حيث ينكشف عن علاقات هيكلية قد تكون غائبة عند الاعتماد على تكرار الرموز وما يرتبط به.

تظهر النتائج أيضًا أن تعيينات الكتل مستقرة عبر معلمات إنشاء الرسوم البيانية والبذور العشوائية، مما يزيد من مصداقية هذا الاستنتاج. يرى الباحثون أن هذا التوجه يمثل خطوة جديدة نحو فهم أعمق لمستويات التعقيد في نماذج الذكاء الاصطناعي الحديثة.