أصبحت أوزان الانتباه (Attention Weights) واحدة من الطرق المعتمدة في تحليل تدفق المعلومات في نموذج لغات كبيرة (Large Language Models). ولكن، كما أظهر بحث جديد تم تقديمه، فإن هذه الطريقة تعاني من قيود كبيرة حيث تغفل الخصائص الهندسية للمتجهات القيمة التي يتم تجميعها.

في محاولة لسد هذه الفجوة، تم تقديم مفهوم "أوزان المساهمة" (Contribution Weights)، وهي مقياس يعتمد على الإسقاط لتحديد مدى تأثير رمز معين من خلال احتساب وزنه في الانتباه، حجم قيمته، ومحاذاته الاتجاهية مع ناتج الطبقة.

ما يجعل أوزان المساهمة مختلفة هو أنها تقدم مقياسًا أكثر دقة لأهمية الرموز، حيث أثبتت أنها تتفوق بانتظام على القياسات المعتمدة على الانتباه في تحديد الرموز الحيوية دلاليًا عبر نماذج مختلفة وأداءات متعددة.

علاوة على ذلك، يمكّن هذا المقياس التحليل الميكانيكي الجديد لـ"أحواض الانتباه" (Attention Sinks). بينما تم تعريف الأحواض سابقًا كمستودعات سلبية للاهتمام الزائد، يكشف البحث الجديد أنها تلعب دورًا نشطًا، من خلال قمع المعلومات عبر علاقة مقعرة بين معدل الكبح ومعيار الناتج، مما يؤدي إلى استقرار التمثيلات من خلال مواجهة انحراف المعاني للرموز ذات الثقة المنخفضة.

هذه النتائج تعد ثورية في فهم كيفية عمل نماذج الذكاء الاصطناعي وتعزز إمكانية استخدام أوزان المساهمة في تحسين الأداء في تطبيقات متعددة.