تشهد تقنية الانتباه متعدد الرؤوس (Multi-head Latent Attention) تطورًا ملحوظًا في طرق معالجة المعلومات داخل نماذج اللغة. تم تقديم هذه التقنية حديثًا في مشروع DeepSeek-V2، حيث تتيح ضغط أزواج المفتاح والقيمة عبر اختناق منخفض الترتيب (cKV) وتحقيق تخفيض بنسبة 81% في ذاكرة التخزين المؤقت خلال عملية الاستدلال.

على الرغم من اعتمادها في نماذج الإنتاج الضخمة، لم يتم دراسة المعلومات التي يحتفظ بها هذا الاختناق أو يتخلص منها، ولا كيفية إعادة تشكيل دوائر المحولات الداخلية. في هذه الدراسة، نقدم أول تحليل شامل لكيفية عمل هذه التقنية.

عبر تدريب محول يتألف من 114 مليون بارامتر، يتم تدريبه على مزيج من بيانات الويب، الشيفرات الرياضية، وقصص قصيرة، قمنا بتحليل تمثيلاته باستخدام التقنيات المتقدمة مثل التحليل القيمي المنفرد (SVD) وتصنيف رؤوس الانتباه.

تشمل النتائج المهمة ما يلي:
1. يحقق الاختناق cKV تمثيلًا نقيًا للمحتوى، حيث يحتفظ بهوية الكيانات بنسبة 98%، بينما يتخلص من المعلومات المكانية، مما يعزز فرضية فصل المحتوى عن الموقع.
2. تتجمع رؤوس الاستدلال في طبقة واحدة (الطبقة 12)، على عكس توزيعها في نماذج الانتباه التقليدية.
3. تُظهر طبقة "المركز الدلالي" (الطبقة 15) أعلى تصنيف فعال وتحقيق أقوى درجات الاضطراب.
4. يستهلك الاختناق بشكل مفرط، حيث يستخدم 46% فقط من سعته المتاحة.

تُظهر هذه النتائج أن تقنية MLA لا تقتصر على ضغط الانتباه بشكل سلبي، بل تعيد تشكيل كيفية تنظيم النموذج للمحتوى والموقع وبنية الدوائر. سنعتبر هذه النتائج نقطة انطلاق أولى ونوضح بعض القيود في الدراسة.

فما رأيكم في هذا التطور التقني؟ شاركونا في التعليقات.