في عالم النماذج اللغوية الضخمة (Large Language Models)، تمثل عملية الاستدلال بعيدة المدى تحديًا كبيرًا، فنجد أن ذاكرة التخزين التي تعتمد على مفاتيح وقيم (Key-Value Cache) تصبح عائقًا رئيسيًا يؤثر على الأداء. ولكن، مع التقنية الجديدة المعروفة بـ BELT، أصبح هذا التحدي في طي النسيان.

تعتبر BELT إطار عمل لضغط ذاكرة الـ KV ذات الرتبة المنخفضة، حيث تركز أهدافها على توزيع الانتباه بدلاً من المفاتيح الخام أو القيم السابقة لعملية التخفيف. وهذا يتيح الحصول على حل مغلق وصحيح ذي رتبة منخفضة، مما يحسن من جودة النموذج أثناء ضغط حاد وزيادة في سرعة فك التشفير.

عبر التجارب التي تمت على ثلاث نماذج لغوية ضخمة، حققت BELT نجاحًا بارزًا في تقليص حجم ذاكرة KV حتى 70%، بينما تجاوزت أفضل أدائها السابق بحوالي 23.3 نقطة في اختبار LongBench. بالإضافة إلى ذلك، عند دمجها مع تقنيات التكميم، حققت تقليصًا شاملًا في ذاكرة KV بنسبة تصل إلى 17.8 مرة.

بفضل نوى GPU القائمة على Triton والذاكرة المكممة، تقدم BELT زيادة تصل إلى 2.7 مرة في سرعة وحدة الانتباه، و3.3 مرة في سرعة فك التشفير الشاملة. إن هذا الابتكار يعد خطوة هائلة نحو تحسين الأداء الكلي للنماذج اللغوية، مما يسمح بتجارب مستخدم أكثر سلاسة ودقة.