في عالم الذكاء الاصطناعي المتطور، تصبح القدرة على فهم السياقات الطويلة واحدة من أبرز التوجهات للجيل الجديد من نماذج اللغات الضخمة (Large Language Models). لكن، كيف يمكننا التغلب على التعقيد الزمني للانتباه القياسي الذي يزداد بشكل كبير مع زيادة طول السلسلة؟

يشير التقرير الفني حول نظام كواي ملخص الانتباه إلى أن التعقيد الزمني للانتباه يكون مربعياً بالنسبة لطول السلسلة، مما يؤدي إلى تكاليف كبيرة خلال التدريب والاستنتاج في البيئات التي تحتاج إلى سياقات طويلة. الحلول الحالية تتضمن تقنيات مثل تقليل ذاكرة المفتاح والقيمة (KV Cache) لكل طبقة، لكن مع ذلك، تبقى هذه الذاكرة تعتمد بشكل خطي على طول السلسلة.

في السعي نحو تحسين فعالية النماذج، تم اقتراح آلية كواي ملخص الانتباه (KSA) التي تسعى للحفاظ على علاقة خطية بين الذاكرة وطول السلسلة، وتؤدي في الوقت نفسه ضغطًا على المعلومات الدلالية من خلال نسبة معينة. هذا المسار الحديث لا يهدف فقط إلى تقليل الذاكرة، بل يسعى للحفاظ على جميع العلاقات البعيدة المهمة بطريقة مرجعية وقابلة للتفسير.

بتقنية كواي، يتم ضغط السياقات التاريخية إلى رموز ملخصة قابلة للتعلم، مما يقلل تكاليف النمذجة بشكل كبير بينما يحسن الفهم الدلالي.

خلاصة القول، يبدو أن أسلوب كواي يمثل خطوة جريئة إلى الأمام في تحسين الذكاء الاصطناعي، ويعزز من فعالية نماذج التعامل مع السياقات الطويلة.