تعتبر الذاكرة عالية النطاق (High Bandwidth Memory) الخاصة بوحدات معالجة الرسوميات (GPU) نادرة ومكلفة، مما يجعل ذاكرات KV تلعب دورًا محوريًا في استهلاك هذه الذاكرة أثناء تزايد التفاعل في المحادثات، ودوائر العمل للوكيل، والإجابة على أسئلة الوثائق. في محاولة لتوسيع قدرات الذاكرة، قدمت أنظمة مثل Mooncake وLMCache وFlexGen وInfiniGen وAttentionStore حلولًا تجمع بين الذاكرة العشوائية الديناميكية (DRAM) من CPU وSSD.

ولكن يبقى السؤال الأصعب: ما هي الكتل التي يجب أن تندرج في كل طبقة، ومتى يجب نقلها أو إزالتها، وما إذا كانت تقنية التخزين المسبق (Prefetching) ستساعد؟ في دراسة حديثة، استخدم الباحثون محاكاة أحداث متقطعة تشمل HBM من GPU وDRAM من CPU وSSD، ومواءمتها مع متنبئ لوقت التنفيذ يعتمد على الغابات العشوائية (Random Forest).

تركز الدراسة على مقارنة عدة عوامل مثل حداثة البيانات، وتكرار إعادة الاستخدام، والتنبؤ بإعادة الاستخدام، ومؤشر EWMA مع نظرة مستقبلية للتخزين المسبق عبر أحمال العمل المتنوعة. ومن النتائج المثيرة أن تقسيم الطبقات يدعم 73.02 مرة المزيد من الجلسات المتزامنة لكل GPU، ويقلل التكلفة لكل جلسة بنسبة 62.04 مرة.

تعود هذه المكاسب إلى سعات الطبقات التي تساوي 1+8+64، وليس سياسات التوزيع. في الوقت نفسه، أثبتت البيانات أن التوظيف الدقيق للحداثة يخفض حركة البيانات بنسبة 2.30 مرة أقل من تكرار إعادة الاستخدام في المحادثات، بينما أظهر الأداء الأفضل لتكرار إعادة الاستخدام بالنسبة لوكالات العمل والإجابة على الأسئلة.

ختامًا، توصل الباحثون إلى أن السياسات المقترحة لتوقع إعادة الاستخدام وتخزين البيانات المسبق ليست مدعومة كما تم تنفيذها، مما يسلط الضوء على الحاجة لمزيد من البحث في هذا المجال.