بينما تزداد التعقيدات في نماذج اللغة الضخمة، تصبح آليات التفسير الميكانيكي (Mechanistic Interpretability) أداة أساسية لفهم كيفية عمل هذه النماذج. لكن، وفق دراسة جديدة نُشرت في arXiv، تكشف النتائج أن هذه التفسيرات قد تكون أقل موثوقية مما كنا نعتقد.

تستخدم النماذج التي تدربت عليها الآليات القابلة للتفسير (Interpretable Replacement Networks أو IRNs) في جميع الطبقات لتوفير ميزات يمكن فهمها عبر خلايا عصبية تنشط بصورة قليلة. ومع ذلك، تم تقييم مصداقية هذه الشبكات فقط بناءً على البيانات النظيفة، مما يثير تساؤلات حول قدرتها على التعامل مع الإشارات المشوشة.

أظهرت الدراسة أن التغيرات البسيطة في البيانات المدخلة يمكن أن تعكس الميزات المهيمنة في هذه النماذج، مما يؤدي إلى تغير كبير في التفسير القابل للفهم من قبل البشر. هذا ينطبق على خمس عائلات نماذج مفتوحة مثل GPT-2، Gemma، وLlama.

للتعامل مع هذه التحديات، اقترح الباحثون أول إطار تحقق رسمي يقوم بتحليل قابلية الوصول، مما يضمن حدودًا عليا للثغرات في الموثوقية خلال سيناريوهات معادية. علاوة على ذلك، أظهر التدريب القائم على التحقق من خلال آليات قابلة للتفسير إمكانية تقليل هذه الثغرات بشكل كبير، مما يوفر تفسيرات على مستوى الميزات يمكن لمراجعي الأمن التعامل معها.

بشكل عام، تعد هذه الدراسة بمثابة خطوة مهمة نحو ضمان تفسير ميكانيكي أكثر موثوقية للنماذج اللغوية الكبيرة، مما يفتح المجال لفهم أعمق وأفضل لهذه النماذج.