كيف يمكن للهندسة المخفية أن تغير تشكيل آبار الانتباه في نماذج الذكاء الاصطناعي؟

في عالم الذكاء الاصطناعي (AI)، تُعتبر آبار الانتباه (Attention Sinks) من الظواهر المذهلة التي غالباً ما تُدرس بعد اكتمال تشكيلها. لكن ماذا لو كان هناك تغيير يمكن قياسه في الحالة المخفية (Hidden State) يظهر قبل بدء هذه الآبار؟ سؤالنا هذا قادنا إلى بحث جديد يعرض كيف يمكن أن يؤدي تغيير في الهندسة المخفية إلى تعديل النتائج اللاحقة.

تسعى هذه الدراسة إلى تسليط الضوء على كيفية مقارنة النماذج في نفس الطبقة، مما يساعد على إزالة عمق الشبكة كعائق. ومن خلال تحليل استجابات معينة، وجد الباحثون أن هناك إشارات واضحة مرتبطة بفترات قصيرة قبل تشكيل الآبار، مما يدل على أن الهندسة المخفية يمكن أن تُعد مؤشرًا قويًا على ما سيحدث لاحقاً.

تمكن الفريق من تعديل القيم الفردية (Singular Values) للحالات المخفية بعد حساب الانتباه الحالي، وقد أكدت النتائج أن هذه التدخلات تؤدي إلى تغيير سلوك الآبار المتكونة في نماذج متعددة مثل Qwen2.5 وGLM-Z1 وGPT-OSS. في حالة Qwen2.5، أظهر التعديل تأثيراً مثبطاً في تفضيل الاستعلام مقابل المفتاح للموضع 0.

تشير هذه النتائج إلى أن مرض الآبار لا يُظهر فقط حالة انتقائية معينة، بل إنه يسبقها إعادة تنظيم طيفية قصيرة للحالات المخفية. لذا، فإن تغيير هذه الهندسة بشكل مباشر قد يؤدي إلى تعديل تشكيل الآبار، وهو ما يمكن أن يفتح آفاق جديدة في فهم كيفية تحسين الأداء في نماذج الذكاء الاصطناعي.