في عالم تسارع فيه تطوير نماذج اللغات الكبيرة (Large Language Models - LLMs)، تبرز تحديات جديدة تظهر عند التعامل مع سياقات طويلة، مثل القدرة على الاستنتاج، وتوليد الأكواد، والحوار متعدد الأدوار. ومع استخدام هذه النماذج في مهام تمتد عبر نصوص طويلة، يصبح من الصعب الحفاظ على الكفاءة في ظل تعقد العمليات.

غالبًا ما تعاني النماذج نتيجة لاستخدام تخزين ذاكرة المفاتيح والقيم (Key-Value cache) الذي يتزايد بشكل خطي مع زيادة طول التسلسل النصي، مما يؤثر سلبًا على زمن الاستجابة. مؤخرًا، ظهرت طرق ضغط تخزين الذاكرة، لكنها كانت تركز بشكل رئيسي على إدخال السياقات دون معالجة الأخطاء التراكمية التي قد تنتج أثناء عملية التوليد الطويل.

هنا تأتي الابتكارات الملحوظة في البحث الحديث، حيث تم تقديم تقنية جديدة تُدعى RetroAttention، وهي تقنية تحديث جديدة لتخزين الذاكرة تتيح تسريع الأداء من خلال مراجعة النتائج السابقة مع إدخال مدخلات جديدة بُعيد خطوات التوليد.

تعمل RetroAttention على الحفاظ على مخزن مخرجات خفيف الوزن، مما يمكّن الاستعلامات الماضية من أن تتلقى تحديثات أكثر فعالية، مع تقليل زمن الاستجابة بشكل ملحوظ. هذه التقنية تُعد خطوة ثورية في مجال الذكاء الاصطناعي، حيث تتجاوز القيود التقليدية المتمثلة في تكرار المدخلات وتجلب إمكانية التصحيح المستمر للنتائج السابقة.

تظهر التجارب التي أجريت على معايير التوليد الطويل أن RetroAttention تتفوق باستمرار على أفضل الطرق المستخدمة حاليًا، مما يزيد من التعرض الفعال للذاكرة بمقدار يصل إلى 1.6 مرة، ودقة النتائج بمعدل يصل إلى 21.9%. هذا التطور يمثل قفزة نوعية في تحسين كفاءة نماذج اللغات الكبيرة، مما يشعل آمال جديدة في مجالات متعددة.