في عالم الذكاء الاصطناعي، تعد الكفاءة في معالجة البيانات من العوامل الأساسية التي تؤثر على الأداء العام للنماذج. يواجه تصميم نماذج الذكاء الاصطناعي تحديات مع زيادة طول التسلسل وحجم الدفعة وعمق النموذج، مما يؤدي إلى زيادة كبيرة في البصمة الذاكرية لشفرة الكي-فاليو (KV).

لتقليل هذه البصمة، تم تقديم عدة تقنيات مثل الانتباه متعدد الاستعلامات (Multi-Query Attention - MQA) والانتباه المعتمد على المجموعة (Grouped-Query Attention - GQA) والانتباه متعدد الرؤوس الكامن (Multi-Head Latent Attention - MLA) والانتباه المنتج النقري (Tensor Product Attention - TPA). ومع ذلك، غالبًا ما تضحي هذه الأساليب بالقدرة التعبيرية أو تتطلب بنية إضافية تتعلق بالترميز المكاني.

لذلك، نقدم لكم 'Kronecker Product Attention' (KPA)، والذي يقوم بتمثيل تنشيطات الكي والفاليو كسلاسل من منتجات Kronecker لعوامل مصفوفة متماسكة ومعتمدة على الرموز. KPA يعمم TPA بشكل صارم، حيث أن التحلل إلى عامل خارجي ذي رتبة واحدة يمكن أن يمثل تحديثًا غامضًا، بينما يمكن للعوامل المصفوفية غير الغامضة أن تمثل أنماطاً غنية منظمة.

علاوة على ذلك، يظهر البحث تطابقاً مثيراً للاهتمام بين مشغّل تضمين دوار منظم مطابق للتمثيل النقري للحفاظ على خاصية الموقع النسبي لـ RoPE، بينما يدور فقط العوامل المتماسكة، مما يلغي الحاجة إلى فرع RoPE منفصل كما هو الحال في MLA.

في التجارب، أظهرت KPA أداءً متطابقاً أو أعلى من TPA وMHA وMQA وGQA وMLA عبر أربعة مقاييس نموذجية وتسعة معايير تابعة وفقاً لظروف تدريب متطابقة، مع تحقيق ضغط يصل إلى 10 أضعاف في الذاكرة. كما أن تقسيم الرأس النقري هو معلمة tuning قابلة للتعديل، مما يسمح للممارسين بالتنقل بين ضغط الذاكرة والدقة خلال مرحلة التصميم دون الحاجة لتغييرات هيكلية.