في عصر الذكاء الاصطناعي، يعتمد الأداء الفائق لنماذج اللغات الضخمة (Large Language Models) على قدرتها على معالجة السياقات الطويلة. ومع ذلك، تواجه هذه النماذج تحديات كبيرة تتمثل في تكلفة الذاكرة وعرض النطاق الترددي لذاكرات التخزين. هنا يأتي دور الابتكار الجديد FreqDepthKV.

تقنية FreqDepthKV تقدم حلاً مبتكرًا لمشكلة ضغط ذاكرات التخزين أثناء عملية الاستدلال. حيث تقوم بفك تجميع حالات ذاكرات التخزين من الطبقات المجاورة إلى مكونات عمق منخفض التردد وفضاءات عالية التردد، مما يعزز القدرة على استرجاع المعلومات والتفكير متعدد الخطوات.

ما يميز FreqDepthKV هو إمكانية تعديل سياسة الضغط وفقًا لبنية المعلومات التي يتم التعامل معها، دون الحاجة إلى إعادة تدريب النموذج. على صعيد النتائج، فقد أثبتت الاختبارات أن هذه التقنية تحافظ على دقة المهام حتى مع ميزانيات ذاكرة أصغر.

بالإضافة إلى ذلك، تظهر النتائج أداءً ملحوظًا حيث يصل معدل التطابق الدقيق إلى 58.3، ومعدل F1 إلى 63.0، كما تحسن سرعة فك التشفير إلى 70.4 توكن/ثانية، مما يجعل FreqDepthKV قادرة على تقديم أداء متميز مع الحفاظ على تكاليف الذاكرة منخفضة تصل إلى 6.2 جيجابايت فقط، وهو ما يعد تحسنًا ملحوظًا يصل إلى 3.9 مرة في نسبة الضغط الفعّال.

تعتبر هذه التقنية خطوة هامة للمضي قدمًا نحو تحسين قدرات النماذج ذات السياقات الطويلة في المستقبل، مما يجعل تجربة المستخدم أفضل وأكثر كفاءة. ما رأيكم في هذا التطور؟ شاركونا في التعليقات!