تواجه تقنيات معالجة الذكاء الاصطناعي تحديات كبيرة عندما يتعلق الأمر بالسياقات الطويلة. من بين هذه التحديات، النمو المتزايد لذاكرة KV-cache (ذاكرة خفية قائمة على المفاتيح والقيم) مع طول السياق، وزيادة تعقيد حسابات الانتباه (Attention) مع ازديادها بشكل تربيعي. للأسف، تحاول التقنيات الحالية مواجهة أحد هذه التحديات على حساب الآخر، مما يؤدي إلى الإخلاء الدائم لبعض الرموز، أو الحفاظ على الذاكرة بالكامل، أو إعادة بناء التاريخ بالكامل، وهو ما يحد من فعاليتها في التفاعل متعدد الأدوار والتفكير الطويل.

تأتي التقنية الجديدة ResidualKV لحل هذه المعضلة. تعتمد هذه التقنية على خاصيتين تجريبيتين، هما تشابه المعلومات الطويلة المدى بين الرموز (Long-Range Inter-Token Similarity) وتوزيع البقايا السلس (Smooth Residual Distribution). تقوم ResidualKV بتفكيك ذاكرة KV-cache إلى مجموعة ضئيلة من المراجع المسترجعة عالميًا ورموز بقايا مضغوطة والتي تحتفظ بالمعلومات الخاصة بكل رمز دون الحاجة إلى الإخلاء الدائم. وعندما تتضاف إلى الانتباه النادر (Sparse Attention)، يتم إعادة بناء الحالات المطلوبة فقط عند الحاجة.

تظهر النتائج التجريبية أن ResidualKV تحتفظ بأداء قريب من الأداء الكامل للذاكرة باستخدام حوالي 13%-16% فقط من مساحة التخزين للذاكرة الخفية و30% من حسابات الانتباه، ومع نتيجة مماثلة لتقنيات المقياس المتعدد. تحتفظ أيضًا بتسريع كبير في فك تشفير البيانات يصل إلى 1.5 مرة بفضل ضغط الذاكرة الخفية و3.4 مرات عندما لا يتم استخدام الضغط.

تقدم هذه النتائج دليلًا واضحًا على أن الحد من ازدواجية المعلومات العالمية بين الرموز يدعم استنتاجًا دقيقًا وفعالًا من حيث استخدام الذاكرة والحساب في معالجة السياقات الطويلة. يمكن الوصول إلى الشيفرة المصدرية لهذا الاختراع الجديد عبر الرابط: GitHub ResidualKV. هل تعتقد أن ResidualKV ستُحدث ثورة في ميدان الذكاء الاصطناعي؟ شاركونا آرائكم في التعليقات!