في دراسة جديدة منشورة على arXiv، تم استكشاف نهج مبتكر لفهم النماذج الميكانيكية التي تعتمد على استخراج آليات الوزن القابلة للاستخدام باستخدام تقنية التحليل الطيفي المتقطّع (Column-tiled SVD). تعتبر هذه الطريقة خطوة هامة نحو فهم أفضل لكيفية عمل الشبكات العصبية بشكل عام.

هذا الاتجاه في تفسير النماذج يُركز على كيفية تدريب القواميس البديلة (Proxy Dictionaries) مثل الانحدار الآلي النادر (Sparse Autoencoders) لاستنتاج الخصائص من النصوص الأكثر تأثيرًا. ومع ذلك، كانت التحديات تكمن في أن الهوية كانت موجودة في القواميس المتعلمة وليس في الأوزان الليلية (Network Weights) ذاتها.

من خلال الاقتراح الجديد، يتم استخراج "آليات الوزن" مباشرة وكل "مرفق" يتم تمثيله كـ (v, u, σ) حيث يمثل (v) المحفز، و(u) المكتوب والقوة (σ). هذه الهوية تُعتبر قاعدة الوزن (Weight Rule) المبتكرة التي تقود الفهم للعلاقة بين الشبكة والخصائص التي تسجلها.

تم تقييم هذه الآليات من خلال مجموعة مسجلة سلفًا تعتمد على قياس الطاقة الكاملة بدلاً من قياس الطاقة المحلية التي تحدد نوع اللوحة. في البحوث التي أجريت على نموذج Gemma-2-2B باستخدام WikiText-2، تم تقييم جميع الخرائط الخطية السبع وكان الأداء مثيرًا للإعجاب. حيث حصلت جميع الخرائط على تقييمات A/B/C، مما يدل على فعالية هذا النهج الجديد.

ولمزيد من الشفافية، تم نشر الشيفرة البرمجية الخاصة بهذه الأبحاث، مع أدوات بناء المحتوى ونقاط الدخول للاختبارات.

هذا التطور يُعتبر من الخطوات المتقدمة في الذكاء الاصطناعي الميكانيكي ومن المؤمل أن يساهم في تحسين الفهم العام لنماذج الذكاء الاصطناعي. ما هو رأيكم في هذه الآلية الجديدة؟ هل تعتقدون أنها يمكن أن تغير مسار أبحاث الذكاء الاصطناعي؟ شاركونا في التعليقات!