تسعى نماذج اللغة طويلة السياق اليوم لتحقيق ثورة في معالجة البيانات عن طريق الإعلان عن قدرة على التعامل مع مليون وحدة من المعلومات في وقت واحد. لكن هل تحل الآليات الجديدة للاهتمام (Attention Mechanisms) فعلياً مشكلات استغراق الانتباه (Attention Sinks) التي يعاني منها البعض؟

تواجه نماذج التعلم الآلي تحديات عدة عند معالجة كم هائل من البيانات. أحد أبرز هذه التحديات يتمثل في ما يسمى "استغراق الانتباه"، حيث تنفق بعض رؤوس الانتباه (Attention Heads) جزءًا كبيرًا من ميزانية الانتباه على المعلومات غير المفيدة، وهذا يؤدي إلى إهدار الموارد. على سبيل المثال، كشفت الندوة العلمية NeurIPS 2025 عن آلية "Attention Gating" التي قللت من نسبة الانتباه على أول وحدات البيانات من 46.7% إلى 4.8%، مما يعد خطوة كبيرة نحو تحسين اقتصاد الانتباه في النماذج.

ومن جهة أخرى، قدم نموذج Kimi K3 فكرة جديدة عبر دمج "Kimi Delta Attention" و"Attention Residuals"، ليعملوا مع نافذة تصل إلى مليون وحدة، مما يزيد عن عشرة أضعاف النطاق الذي تم اختباره سابقًا.

في هذه الدراسة، تم استخدام أداة "SinkProbe" لقياس عدة متغيرات مثل "sink mass" و"massive activation" و"position resolved recall"، وتطبيقها على أربعة نماذج صغيرة تختلف فقط في كيفية مزج الوحدات وعمق النموذج. وقد أسفرت النتائج عن ثلاث نقاط رئيسية:
1. الهدف من التدريب هو ما ينتج عنه ظاهرة الاستغراق، وليس الهيكلية نفسها.
2. لم تنجح آلية "Gating" في إظهار نفس التأثير المعلن عنه في هذا النطاق.
3. تغيرات "sink mass" والتفعيل والتحيز الموقع حدثت بشكل مستقل.

يمكن الاطلاع على الشيفرة المصدرية والبيانات والبروتوكول القياسي من خلال الرابط الموجود في الورقة البحثية.