في عالم الذكاء الاصطناعي، يبرز مفهوم "تتركز الانتباه" (Attention Sink) كإحدى الظواهر المذهلة التي تتضمن نماذج اللغة الكبيرة (Large Language Models) حيث تجد أن الرموز الأولية تتسيد اهتمام النموذج بشكل غير متناسب. لكن ما هي الأسباب الهيكلية وراء هذه الظاهرة الغامضة؟

قدمت دراسة جديدة تفسيرا آلياً لتلك الظاهرة، حيث بدأ الباحثون بتتبع جذور هذه المشكلة إلى عملية تجميع القيمة المحورية في آلية الانتباه الذاتي (Self-Attention). هذه العملية تسفر عن تباين منهجي يُعزز بشكل كبير بفضل تفعيل "الخلايا الخارقة" (Super Neurons) داخل طبقات شبكة التغذية الأمامية (Feed-Forward Network - FFN).

يتضح أن تقليل قنوات التوافق يُحدث تبايناً في أبعاد التمثيل الأولي للرمز، مما يفرض ضرورة تشكيل بنى تركز الانتباه كمرساة هيكلية. ولتأكيد هذا الربط السببي، تم إجراء تجربتين محكمتين: الأولى كانت من خلال تعديل قناع الانتباه لعزل تأثير التجميع، والثانية من خلال تعزيز تباين تمثيلات الرموز المستهدفة. وقد أدت كلاً من التجربتين إلى إعادة إنتاج تركز الانتباه في مواقع مختلفة بشكل عشوائي.

تفتح هذه الفهمات الآلية الطريق للتحكم المنهجي في تشكيل تتركز الانتباه، مما يسهل عملية الانتقال نحو نتائج أفضل. كخطوة إثبات للأفكار المطروحة، تم اقتراح "تحسين RMSNorm بحسب الرأس" (head-wise RMSNorm)، وهو تعديل معماري ي stabilizes نتائج تجميع القيم أثناء التدريب الأولي. وأظهرت التجارب أن استعادة التوازن الإحصائي عبر المواقع تسارعت بوضوح من عملية التقارب.

وبهذا، تقدم هذه الدراسة رؤى جديدة تساهم في تحسين فاعلية نماذج اللغة الكبيرة وتفتح المجال أمام بحوث مستقبلية توضح المزيد من التفاعلات المعقدة بين مكونات نماذج الذكاء الاصطناعي.