في عالم الذكاء الاصطناعي، تظل مسألة تفسير تفاعلات الشبكات العصبية (Neural Networks) موضوعًا حيويًا. تقنيات التفسير المختلفة تمتد على نطاق واسع من الأساليب الرخيصة التي لا تتطلب تدريبًا، مثل المجسات الخطية (Linear Probes) وتحليل المكونات الرئيسية (PCA)، إلى الأساليب الأكثر تكلفة والتي تعتمد على التدريب مثل الشبكات التلقائية (SAEs) وأوراكلات التفعيل (Activation Oracles).

ومع ذلك، السؤال الذي يطرح نفسه: هل تقدم هذه الأساليب المدربة رؤى تتجاوز ما يمكن استخلاصه من مجموعة البيانات المستخدمة في التدريب نفسها؟

للإجابة على هذا السؤال، تم تجهيز وكيل نموذج لغوي ضخم (LLM) بقاعدة بيانات متجهات التفعيل المرتبطة بسياقاتها النصية، بالإضافة إلى أدوات تتيح له التعامل مع التفاعلات، مثل إسقاط الاتجاهات في الفضاء الكامن وحساب الفروق والمتوسطات بين التفاعلات. يقوم الوكيل باستعلامات متكررة من قاعدة البيانات، وبناء فرضيات مستندة إلى العينات المسترجعة، ثم يتحقق منها عن طريق إنشاء مجسات خطية. نطلق على هذه الطريقة اسم HARP، اختصارًا لـ Hypothesis-driven Agentic Retrieval and Probing.

رغم عدم تضمين أي تدريب، أثبتت HARP تفوقها على كل من أوراكلات التفعيل ووكلاء SAEs في اكتشاف المفاهيم (Concept Discovery) وكشف المفاهيم (Concept Detection) وتوجيه النماذج (Model Steering) واستنباط الأسرار (Secret Elicitation). يجعل التصميم القائم على عدم التدريب HARP أرخص بكثير وأكثر مرونة، حيث يمكن فهرسة مجموعات بيانات جديدة حسب الحاجة كلما أثبتت السجلات الحالية عدم كفايتها.

تشير نتائجنا إلى أن الطرق الحالية المعتمدة على التدريب لا تزال لا تستخرج رؤى تتجاوز بيانات التدريب الخاصة بها، مما يشجع على وضع معايير تتطلب من الأساليب التفسيرية إثبات هذه الرؤى. لمزيد من المعلومات، يمكنكم الوصول إلى الشيفرة المصدرية لدينا على الموقع GitHub.