في ظل التطورات المستمرة في نماذج اللغات الكبيرة (Large Language Models)، أصبحت تكاليف الذاكرة والتواصل لتخزين الذاكرة الرئيسية (KV Cache) تمثل تحدياً كبيراً خاصة في عمليات الاستدلال عبر عدة وحدات معالجة الرسوميات (GPUs) أو عدة عقد. وعندما تتبنى البنية المعمارية نمط الخبراء المتنوع (Mixture of Experts)، فإنها تبسط عمليات الحساب عبر تقليل الأحمال الحسابية، لكن تظل خزانات الـ KV المعنية كثيفة ومتزامنة عالمياً، مما يؤدي إلى أعباء إضافية كبيرة.

ولمعالجة هذه المشكلة، نقدم لكم **PiKV**، وهو إطار عمل لتخزين **KV Cache** مصمم خصيصاً لبنية نماذج الخبراء المتنوعة. يعتمد PiKV على تقنية **تخزين KV الشاردي بين الخبراء (Expert-sharded KV storage)** لتوزيع الخزانات عبر وحدات الـ GPUs، ويستخدم **توجيه PiKV (PiKV routing)** لتقليل الوصول من الرموز إلى الـ KV، مع تقنية **جدولة PiKV (PiKV Scheduling)** التي تحتفظ بشكل ملائم بالسجلات ذات الصلة بالاستعلامات.

بالإضافة إلى ذلك، يدمج PiKV وحدات **ضغط PiKV (PiKV Compression)** في خط أنابيب التخزين لتسريع الأداء وتقليل استهلاك الذاكرة.

الجدير بالذكر، أن عدم تواجد PiKV كمنتج نهائي، حيث أنه متاح الآن كمكتبة برمجية مفتوحة المصدر عبر رابط PiKV على GitHub. يتطلع PiKV لأن يصبح نظاماً متكاملاً لإدارة الذاكرة لخزانات KV في بنى نماذج الخبراء المتنوعة، وبالتالي فتح آفاق جديدة في عالم الذكاء الاصطناعي.