في عالم الذكاء الاصطناعي، ترتكز قدرة [النماذج اللغوية](/tag/[النماذج](/tag/النماذج)-اللغوية) الحديثة على [تخزين المعلومات](/tag/[تخزين](/tag/تخزين)-[المعلومات](/tag/المعلومات)) في طبقات مضمرة داخلية، إذ يمكننا تشبيه هذه الآلية بفكرة "[الذاكرة](/tag/الذاكرة)". ولكن، هل [تعلم](/tag/تعلم) أن هذه [النماذج](/tag/النماذج) غالباً ما تحتفظ بمعلومات قليلة جداً من المدخلات، وذلك بغض النظر عن حجم [البيانات](/tag/البيانات) أو القدرات الحاسوبية المستخدمة في تدريبها؟

تشير أحدث [الأبحاث](/tag/الأبحاث) إلى أن [نماذج المحولات](/tag/[نماذج](/tag/نماذج)-[المحولات](/tag/المحولات)) المدربة للتجديد المدخلات (autoencoders) تظهر قدرة استثنائية على تشكيل [ذاكرة](/tag/ذاكرة) دقيقة، ويمكن أن يؤثر استبدال ذاكرات المدخلات بتسلسلات الرموز بشكل كبير على [الكفاءة الحاسوبية](/tag/[الكفاءة](/tag/الكفاءة)-الحاسوبية). هذا يدفعنا إلى [التفكير](/tag/التفكير) في [نموذج](/tag/نموذج) [معمارية ذاكرة](/tag/[معمارية](/tag/معمارية)-[ذاكرة](/tag/ذاكرة)) مع مشفر ومشفّر متوازي.

ومع [التدريب](/tag/التدريب) القائم على السببية، تحتوي هذه [النماذج](/tag/النماذج) على تشفيرات ذات [معلومات](/tag/معلومات) منخفضة، غير قادرة على الوصول إلى [معلومات](/tag/معلومات) تعسفية. ولكن من خلال دمج [وظائف](/tag/وظائف) الأهداف القائمة على [السببية](/tag/السببية) وحفظ المعلومات، يتمكن الباحثون من تشكيل ذاكرات غنية بالمعلومات وفك تشفيرها.

علاوة على ذلك، يمكن تبسيط عملية [التدريب](/tag/التدريب) من خلال تثبيت مشفر عالي الدقة، مما يسهل عملية [تعلم](/tag/تعلم) المشفرات في ديكود ذاكرات [المعلومات](/tag/المعلومات) قبل [التنبؤ](/tag/التنبؤ) بالتوكنات التالية. يوضح [البحث](/tag/البحث) أن الاعتماد فقط على [التدريب](/tag/التدريب) الموجه [نحو](/tag/نحو) [التنبؤ](/tag/التنبؤ) بالتوكن التالي قد لا يكون مناسبا لتشكيل [ذاكرة](/tag/ذاكرة) دقيقة، مما يبرز أهمية استخدام أهداف مختلطة للنماذج التي لا تُعرض مدخلاتها بالكامل.

مع تقدم [الأبحاث](/tag/الأبحاث) في هذا المجال، تبدو آفاق [تخزين المعلومات](/tag/[تخزين](/tag/تخزين)-[المعلومات](/tag/المعلومات)) في [الذكاء الاصطناعي](/tag/الذكاء-الاصطناعي) أكثر واعدة مما كان يُعتقد، مما يفتح الباب أمام إمكانيات غير محدودة.