تسعى الأبحاث الحالية في مجال تعلم العمق القابل للتفسير إلى استبدال الحسابات العصبية المعقدة بوصفات رمزية ذات معنى بالنسبة للإنسان، مما يسهم في تحقيق الشفافية في عملية التعلم. وفي خطوة جديدة ومبتكرة، قدمت دراسة حديثة مقاربة لمحاكاة سلوك مكونات الشبكات العميقة عن طريق استخدام برامج قابلة للتنفيذ.

تركز هذه الدراسة على "رؤوس الاهتمام" (Attention Heads) في نماذج اللغات التعزيزية مثل نموذج "GPT-2" و "Llama-3B". في الخطوة الأولى، تم حساب المصفوفات المرتبطة بالرؤوس على مجموعة مختارة عشوائياً من أمثلة التدريب. بعد ذلك، تم استخدام نموذج لغوي مدرب مسبقاً لإنشاء مجموعة من برامج بايثون (Python) التي يمكنها إعادة إنتاج أنماط الاهتمام المستخلصة، فقط استناداً إلى النص من الجملة المدخلة.

المثير في الأمر أنه تم إنشاء أقل من 1000 برنامج، والتي استطاعت أن تعيد إنتاج أنماط الاهتمام بنفس الدقة التي تصل إلى 75% كمتوسط تقاطع-على-الاتحاد (Intersection-over-Union) على مجموعة "TinyStories". والأكثر إثارة هو أن البرامج المُخَصَّصة يمكن أن تحل محل رؤوس الاهتمام العصبية دون التأثير الكبير على سلوك النموذج، حيث أكد البحث أنه يمكن استبدال 25% من رؤوس الاهتمام مع زيادة استقرائية لا تتجاوز 16%، مع بقاء الأداء في معايير الإجابة على الأسئلة مستقراً.

تسهم هذه الدراسة في تطوير مسار يمكن الباحثين من عكس هندسة رؤوس الاهتمام في نماذج المعالجة اللغوية باستخدام رموز قابلة للقراءة والتنفيذ، مما يجعل الذكاء الاصطناعي أكثر شفافية وفهمًا للجمهور.