في عالم الذكاء الاصطناعي المتسارع، تظهر حلول جديدة وغير متوقعة لتلبية احتياجات التعامل مع البيانات. من بين هذه الحلول البارزة، نأتي إلى PEEK، وهو إطار عمل خفيف الوزن يهدف إلى تحسين إدارة ذاكرة التخزين المؤقت (Cache Management) في نماذج اللغات الضخمة (Large Language Models) سواء في البيئة المباشرة (Streaming) أو البيئات المجمعة (Batch).

تركز آلية PEEK على النظام المباشر، حيث يحافظ على شجرة (Radix Tree) متزايدة عبر قائمة الانتظار المعلقة، مما يكشف عن تجمعات متشاركة في البادئة لا يمكن لأي محرك آخر الوصول إليها. وهذه الميزة تجعل PEEK قادراً على تقديم طلبات الانتظار بشكل فعال، مع تحقيق التطابق الأمثل لأطول بادئة (Longest Prefix Match) لكل طلب في حين يتم منح الأولوية للعناصر الأولى في التجمعات.

إضافة إلى ذلك، يشتمل PEEK على آلية خاصة لحماية الكتل المرتبطة بالطلب المتراكم، بينما توفر المرقم (Scheduler) متعدد المسارات الحد من التأخر. وقد أظهر النظام أداءً سحرياً على أربع مهام مختلفة باستخدام SGLang وvLLM، حيث حقق زيادة تصل إلى 3.0 مرات في نسبة نجاح التخزين المؤقت، و7.9 مرات في تقليل أوقات الانتظار، و3.6 مرات في زيادة الأداء.

مع PEEK، يبدو أن مستقبل نماذج اللغات الضخمة (LLMs) قد يكون أكثر إشراقاً، حيث يساعد هذا النظام في مواجهة كفاءة استخدام البيانات وتقديم أداء أعلى دون تقديم تنازلات. هذه الابتكارات تُظهر كيف يمكن للذكاء الاصطناعي أن يتطور ويصبح أكثر ذكاءً وفعالية في إدارة الطلبات بذكاء وابتكار.