في عالم الذكاء الاصطناعي، تبرز نماذج اللغات الكبيرة (MLLMs) كأداة قوية قادرة على تنفيذ مهام متعددة بمهارة فائقة. ومع ذلك، فإن التحديات المرتبطة بتوسيع قدراتها ما زالت قائمة، خاصة في ما يتعلق بالتخزين المؤقت لبيانات المفاتيح والقيم (KV cache). في هذا السياق، أظهرت الأبحاث الحديثة أهمية إدارة التخزين المؤقت وطرقه، ومن أبرزها ECOKV.

يستند مفهوم ECOKV إلى تحسين آلية طرد المفاتيح والقيم عن طريق تطبيق مقاييس متنوعة لقياس الفروق في المعلومات. وفي إطار دراستنا، نقوم بتفكيك فعالية هذه المقاييس الحالية، ونتجاوز القياسات البسيطة لنقدم مقياسًا هجينًا مدعومًا بالهندسة. يعتمد هذا المقياس المشترك بشكل أساسي على استخدام المسافة الإقليدية (Euclidean distance) والتماثل الكوزيني (cosine similarity)، مما يتيح لنا قياس تنوع الرموز من وجهات نظر مكملة.

علاوة على ذلك، تستخدم طرقنا الجديدة هذين المقياسين لتقدير مستوى التكرار لكل رأس انتباه (attention head)، مما يسمح بتوازن تكيفي بين درجات الأهمية والتنوع عند اختيار الرموز. ومن خلال هذه الأساليب، لاحظنا أن نافذة الملاحظة التي يتم استخدامها عادةً للحفاظ على الرموز الحديثة يمكن تقليصها بشكل كبير، مما يتيح تخصيص المزيد من سعة التخزين للرموز الأكثر إفادة.

تظهر التجارب الواسعة التي أجريناها أن ECOKV يحقق أداءً رائدًا في العديد من نسب الضغط، ويمكن دمجه بسلاسة مع طرق طرد التخزين المؤقت الحالية. كما نقوم أيضًا بتحليل العلاقة بين الأهمية والتنوع، ونفحص أنماط التكرار عبر الطبقات ورؤوس الانتباه. من المؤكد أن ECOKV يمثل خطوة مثيرة نحو الأمام في عالم الذكاء الاصطناعي وأبحاث نماذج اللغات.

ما رأيكم في هذه الطريقة الجديدة؟ هل تعتقدون أنها ستحدث فرقاً في تطوير نماذج ذكاء أكثر كفاءة؟ شاركونا آراءكم في التعليقات!