في عصر تكنولوجيا الذكاء الاصطناعي، أصبحت إدارة كاش المفتاح (Key-Value Cache Management) أمرًا بالغ الأهمية، خاصة عندما يتعلق الأمر بمزامنة نماذج اللغة الكبيرة (LLMs) مع الاستخدامات الطويلة. أحد أبرز التحديات هنا هو النمو الخطي في الذاكرة. بينما انتقلت الأساليب الحديثة من الاعتماد على خوارزميات بسيطة تعتمد على نقاط الانتباه لتمثيل القيم، إلا أنها تواجه تقلبات كبيرة في الأداء نتيجة لمشكلة Optimization المعقدة، مما يصعب تحقيق الأداء المثالي.

هنا تطل علينا تقنية DropKV، إطار عمل مبتكر يقوم بفصل تداخل الناتج المتبقي (Residual-Output Perturbation) ليقدم حلولًا عملية تدور حول تحسين إدارة الكاش. من خلال فصل القرارات المرتبطة بالإجلاء إلى تقييمات مستقلة لكل توكن، نجحت DropKV في تجاوز التعقيد المدمج، حيث توفر ضمانات رياضية تمكنها من أداء فعّال.

وبما أن الأداء العملي مهم، قدم الباحثون تنفيذًا عالي الأداء باستخدام تريتون (Triton) مع الامتناع عن تكوين مصفوفة الانتباه الكاملة، مما يؤدي إلى تسريع يصل إلى 19.8 ضعفًا في أداء النمذجة، مع زيادة بنسبة تصل إلى 9.9% في زمن التهيئة. من خلال تقييمات شاملة على مقاييس مثل RULER وLongBench، أثبتت DropKV أنها تتفوق باستمرار على الأساليب التقليدية في نفس الميزانيات، وتحقق أقل زمن استجابة بين الطرق المعتمدة، مما يجعلها خيارًا جذابًا للمطورين والمتخصصين في الذكاء الاصطناعي.