في عالم الذكاء الاصطناعي، ترتكز قدرة النماذج اللغوية الحديثة على تخزين المعلومات في طبقات مضمرة داخلية، إذ يمكننا تشبيه هذه الآلية بفكرة "الذاكرة". ولكن، هل تعلم أن هذه النماذج غالباً ما تحتفظ بمعلومات قليلة جداً من المدخلات، وذلك بغض النظر عن حجم البيانات أو القدرات الحاسوبية المستخدمة في تدريبها؟

تشير أحدث الأبحاث إلى أن نماذج المحولات المدربة للتجديد المدخلات (autoencoders) تظهر قدرة استثنائية على تشكيل ذاكرة دقيقة، ويمكن أن يؤثر استبدال ذاكرات المدخلات بتسلسلات الرموز بشكل كبير على الكفاءة الحاسوبية. هذا يدفعنا إلى التفكير في نموذج معمارية ذاكرة مع مشفر ومشفّر متوازي.

ومع التدريب القائم على السببية، تحتوي هذه النماذج على تشفيرات ذات معلومات منخفضة، غير قادرة على الوصول إلى معلومات تعسفية. ولكن من خلال دمج وظائف الأهداف القائمة على السببية وحفظ المعلومات، يتمكن الباحثون من تشكيل ذاكرات غنية بالمعلومات وفك تشفيرها.

علاوة على ذلك، يمكن تبسيط عملية التدريب من خلال تثبيت مشفر عالي الدقة، مما يسهل عملية تعلم المشفرات في ديكود ذاكرات المعلومات قبل التنبؤ بالتوكنات التالية. يوضح البحث أن الاعتماد فقط على التدريب الموجه نحو التنبؤ بالتوكن التالي قد لا يكون مناسبا لتشكيل ذاكرة دقيقة، مما يبرز أهمية استخدام أهداف مختلطة للنماذج التي لا تُعرض مدخلاتها بالكامل.

مع تقدم الأبحاث في هذا المجال، تبدو آفاق تخزين المعلومات في الذكاء الاصطناعي أكثر واعدة مما كان يُعتقد، مما يفتح الباب أمام إمكانيات غير محدودة.