في عالم الذكاء الاصطناعي، تشكل نماذج المحولات (Transformers) حجر الزاوية في التطورات الحديثة. ولكن كيف يمكننا فهم كيفية عمل دوائر الانتباه (Attention Head Circuits) داخل هذه النماذج؟ تقدم دراسة جديدة منهجية مبتكرة تتألف من ثلاث خطوات لتحديد هذه الدوائر بشكل دقيق وفعّال.

يتضمن الاقتراح الجديد استخدام إشارة طيفية لكل رأس، حيث يتم قياس النسبة الزمنية المدمجة لمشاركة كل رأس في نتائج الانتباه، مما يتيح تصنيف الرؤوس التي تقوم بحسابات محتوى تعتمد على السياق دون الحاجة إلى تسميات أو تدرجات الاعتراف. بعد تصنيف الرؤوس، يتم استخدام شاشة نمطية لتصفية هذا المؤشر العام إلى دائرة مرشحة خاصة بالمهمة المعنية، وأخيراً، يتم إجراء تحليل جماعي لإثبات العلاقة السببية.

تمت المصادقة على هذا الاقتراح عبر مجموعة من النماذج التي تتراوح معاييرها من 51 مليون إلى 1 مليار برامتر، ولأكثر من عائلة معمارية. يُظهر البحث أن دائرة الاستدلال ذات 2-6 رؤوس تعتبر ضرورية بشكل قاطع في كل نموذج تم اختباره، حيث تقل نسبة الأداء في الاستدلال التخليقي بنسبة تتراوح بين 94-100% بعد إلغاء الدائرة.

تكتسب هذه المنهجية أهمية خاصة، حيث تُظهر نتائج متسقة عبر نماذج مختلفة وعبر نماذج مختلفة من حيث المعايير. مميزة بأن 17-19% من الرؤوس تقوم بحسابات متخصصة يمكن تحديدها، مما يعني أنه رغم زيادة عدد الرؤوس، يبقى عدد الدوائر الاستدلالية ثابتا ما بين 3 إلى 11 رأس.

تعتبر هذه الدراسة جزءًا من مشروع أوسع يهدف لدراسة تطور هذه الدوائر خلال مرحلة التدريب المسبق وأيضًا في سياقات المهام المعقدة حيث تنفصل اختيارية الأنماط عن الهيكلة السببية للمهمة. كيف يؤثر هذا التطور على فهمنا لتقنيات الذكاء الاصطناعي المتقدمة؟

دعونا نتحدث عن هذه الاكتشافات الجديدة! ما رأيكم في هذه التطورات؟ شاركونا في التعليقات.