في عالم الذكاء الاصطناعي، يمثل ضغط السياق (Context Compression) تحديًا حقيقيًا يتطلب حلولاً مبتكرة لتحسين الأداء والفعالية. قدمت دراسة جديدة على موقع arXiv إطار عمل ثوري يسمى PReM (Preserve and Refresh Memory)، الذي يهدف إلى تحسين كفاءة استنتاج الأطوال الطويلة بشكل كبير.

يعتبر ضغط السياق ضروريًا ليس فقط لتقليل تكلفة الذاكرة، ولكن للحفاظ على الأدلة السياقية المفيدة أثناء عملية التوليد. ومع ذلك، تعاني الطرق التقليدية، مثل ضغط ذاكرة المفتاح والقيمة (Key-Value Cache Compression)، غالبًا من اتخاذ قرارات مبكرة بشأن المعلومات التي يجب الاحتفاظ بها، مما يجعل من الصعب التكيف مع الأدلة المطلوبة في خطوات الاستدلال اللاحقة.

يقدم إطار PReM مبدأً جديدًا متمثلًا في استخدام ذاكرة مخصصة لتحديد المعلومات التي سيتم الاحتفاظ بها ومتى يجب تحديثها، مما يعزز من إمكانية تكييف النموذج مع الحاجة عند الحاجة. يتم تدريب هذا النظام من خلال تقنية تُعرف باسم التدريب المنفصل للانتعاش (Phase-Separated Refresh Training)، مما يضمن تنسيق اختيار الذاكرة مع عملية التوليد مستمرًا عبر الانتعاش.

أظهرت التجارب مع سياقات تصل إلى 32K توكن أن PReM يتفوق على النماذج التقليدية تحت ضغوط 16x و32x، بينما يحتفظ بتوازن جيد بين جودة الإجابات وكفاءة الاستنتاج. وهذا يدل على إمكانياته الكبيرة في إعادة تشكيل مشهد الاستدلال في الذكاء الاصطناعي.

بفضل كل هذه التحسينات، يبدو أن PReM قد يمهد الطريق لتقنيات أكثر تقدمًا، مما يجعل معالجة السياق أمرًا أكثر فعالية من أي وقت مضى. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.