مع تزايد الطلب على نماذج اللغة التي تتعامل مع النصوص الطويلة، أصبحت تحديات الذاكرة وباندويث التخزين تتطلب حلولاً ثورية. قدم الباحثون تقنية DepthWeave-KV، التي تمثل قفزة نوعية في ضغط الكاش لخانات المفاتيح والقيم (Key-Value Caches) المستخدمة في نماذج اللغة الطويلة.

تعمل طريقة DepthWeave-KV من خلال تقسيم حالات المفاتيح والقيم على طبقات المتحوّلات المجاورة مستفيدةً من قواعد القنوات المنخفضة المشتركة، مع الحفاظ على بقايا معينة تتعلق بكل توكن، خاصةً في الحالات التي تتطلب سلوكاً دقيقاً.

تجمع هذه التقنية بين تحليل البقايا المتقاطعة ودوار العمق الشرطي للتوكن، مما يخصص مستوى أعلى من إعادة بناء الكفاءة لتوكنات التعليمات الهامة. علاوة على ذلك، تستخدم عملية تتبع الأخطاء عبر الإنترنت بدون معايرة من مجسات مخرجات الانتباه لتكييف الضغط أثناء عملية التوليد، وذلك دون الحاجة إلى إعادة تدريب النموذج الأساسي.

والأهم من ذلك، تقدم DepthWeave-KV تنفيذاً مشتركاً عبر CUDA يقوم بأداء بحث أساسي وفك تشفير باقي القيم وإسقاط الانتباه، مما يقلل من الازدحام الذاكري أثناء عملية فك التشفير.

عند اختبار DepthWeave-KV عبر مجموعة من الاختبارات بما في ذلك LongBench وNeedle-in-a-Haystack، أظهرت التقنية الجديدة جودة أداء قريبة جداً من الأداء الكامل للذاكرة بينما تقلل من استخدام الذاكرة بشكل كبير، مما يحقق تحسناً في دقة الاسترجاع ووصول لخفض بمقدار 8.3 أضعاف في استخدام ذاكرة الكاش.