في عالم الذكاء الاصطناعي، يعد فهم الدوائر الداخلية التي تستخدمها نماذج اللغة (Language Models) لحل المهام تحديًا مركزيًا في مجال التفسير الآلي. تمثل هذه الدوائر جزءًا حيويًا في فهم كيفية توجيه انتباه النموذج.

قدم الباحثون مؤخرًا طريقة جديدة تسمى ACC++، وهي تحسين لطريقة تتبع الدوائر التي تعتمد على مبدأ الاتصال القائم على الانتباه (Attention-Causal Communication). هذه الطريقة تقوم بتحديد إشارات، وهي محتويات ذات أبعاد منخفضة، تتسبب في تركيز الانتباه على أزواج معينة من الرموز، مما يمكنها من استخراج الدوائر من تمرير واحد فقط دون الحاجة لنماذج بديلة أو تعديلات.

تشمل الدوائر التي تحددها طريقة ACC++ مكونات تسبب في اتخاذ قرارات الانتباه للنموذج، بالإضافة إلى الإشارات ذات الأبعاد المنخفضة المستخدمة للتواصل بينها.

تتجاوز هذه الطريقة الانجازات السابقة عبر تقديم رؤى جديدة حول سلوك النماذج. على سبيل المثال، تسلط الضوء على حساسية دوائر تحديد المفعول غير المباشر (Indirect Object Identification) تجاه بنية التعليمات. أظهرت النتائج أن الدوائر المحددة للتعليمات تشكل مجموعات واضحة، وتستقبل الرؤوس عبر هذه المجموعات إشارات تختلف بشكل منهجي، مما يشير إلى آليات متميزة لتحديد اسم المفعول. بخصوص التعدد اللغوي، تظهر دوائر ACC++ أنه بينما يتم إعادة استخدام مكونات النموذج عبر اللغات، إلا أن الإشارات غالبًا ما تكون خاصة بلغة معينة. في دراسة لحالة تتعلق بأربع لغات، كانت المسافات بين الدوائر عبر اللغات متسقة مع القرب اللغوي.

إجمالًا، تشير هذه النتائج إلى أن ACC++ يمكن أن يلقي الضوء على طيف واسع من سلوكيات النماذج، مما يفتح آفاقًا جديدة لفهم أفضل لمعمارية النماذج وأدائها.