في خطوة مبتكرة نحو تحسين كفاءة نماذج اللغة الضخمة (LLMs) في المهام الطويلة، أطلق الباحثون تقنية Moment-KV التي تمثل طفرة نوعية في ضغط الذاكرة المساعدة (KV cache). يُعتبر ضغط الذاكرة المساعدة عقبة رئيسية عند نشر نماذج اللغة الضخمة، حيث أن الأداء يتأثر بشكل كبير بسبب الطريقة التقليدية لتطبيق الضغط والتي غالبًا ما تكون ثابتة.

التحدي الأكبر يتمثل في ضغط الذاكرة المساعدة أثناء عملية التشفير، حيث يسبب ضغط الذاكرة المساعدة السابقة تدهور الأداء بسبب فقدان السياق الحيوي. لقد أظهرت التحليلات للطريقة التي يتعامل بها الذكاء الاصطناعي مع الرموز (tokens) وجود أنماط زمنية قوية، حيث تتلقى الرموز الحرجة انتباهًا مستمرًا على مدى فترات طويلة بينما تتضمن عملية الاستدلال المحلية اندفاعات قصيرة من الانتباه.

تقنية Moment-KV تعتمد على تجميع الانتباه المدفوع بالزخم، حيث يتم تحسس أهمية الرموز كحالة تتطور باستمرار، مما يتيح التقاط التأثيرات الطويلة الأمد والطابع الحديث للرموز. أظهرت التجارب التي تم إجراؤها باستخدام هذه التقنية تحسنًا ملحوظًا في دقة التوليد (2.3-3.2%) مع الحفاظ على زمن فك الشيفرة.

إذا كنت من المهتمين بتقنيات الذكاء الاصطناعي، فإن Moment-KV قد تكون الأداة التي تحتاجها لجعل نماذجك أكثر فعالية وكفاءة.