تعد الذاكرة أحد العناصر الأساسية لتحويل نماذج اللغات الضخمة (LLMs) من نماذج غير تفاعلية إلى وكلاء دائمين يتطورون مع مرور الوقت من خلال تراكم الخبرات، والتخطيط بعيد المدى، والتحسين الذاتي المستمر. معظم أنظمة الذاكرة الحالية تركز على النموذج نفسه وتقوم بتصميم عمليات الذاكرة وفقًا للبنية الأساسية المحددة. لكن، في الممارسة العملية، يواجه المستخدمون تحديات تتعلق بالتبديل بين نماذج LLMs، حيث يميل البعض إلى استخدام نموذج Claude للبرمجة ونموذج GPT في الكتابة لمهام مختلفة، أو حتى تنفيذ خطوات متعددة باستخدام نماذج مختلفة ضمن نفس المهمة للحصول على أفضل العروض من حيث التكلفة.

إحدى القضايا الكبرى التي نواجهها هي أن الذاكرة التي يقوم نموذج واحد بكتابتها تحتاج غالبًا إلى أن يتم استخدامها من قبل نموذج آخر. لذا، يبقى التحسين الفعال لذاكرة النموذج السابق لتتناسب مع نماذج اللغة السفلية مشكلة مهمة وغير مستكشفة بشكل كافٍ. لتحسين هذه التجربة، قمنا بتحويل التركيز من تصميم ذاكرة متمحورة حول النماذج إلى ​​التكيف الذاكري للنماذج اللغوية.

تحديدًا، نعتمد على حل مشكلة التكيف بين الذاكرة العلوية والسفلية من الجانبين: الكتابة والقراءة. ونقوم بتصميم عمليتين مخصصتين تعتمد على الملفات الشخصية، يتم تدريبهما معًا لتحسين كيفية تخزين الذاكرة وتقديمها بهدف إنجاز المهام بشكل أفضل.

لضمان أن الرقمين المتعلمين يتناسبان مع مجموعة واسعة من نماذج LLM، نقترح منهجًا تدريبيًا يركز على أقل النماذج خدمًا خلال التدريب. كما صممنا مكافأة الأداء التي تقيس المساهمة الفعلية للعمليتين مقارنةً بأسلوب ذاكرة ساذج. وقد أظهرت التجارب على HotpotQA و2WikiMultihopQA وMuSiQue أن نموذجنا يتفوق بشكل متسق على الأسس ويظل موثوقًا تحت استبدال النموذج غير المرئي.