عندما نتحدث عن الذاكرة البشرية، فإننا نضع نصب أعيننا رغم أنها ليست تسجيلات دقيقة، بل هي إعادة بناء لحظات وتجارب. المشكلة تكمن في أن النماذج الحالية الخاصة بالذكاء الاصطناعي، مثل نماذج اللغات متعددة الوسائط (MLLMs)، تفتقر لهذه القدرة. إذ تقوم بمعالجة الصور عبر مُشفر بصري ثابت، وتنتج مخرجات نصية مرة واحدة، لتتخلص بعد ذلك من التمثيلات الداخلية.

هنا يأتي دور النموذج الجديد "DoYouRemember"، الذي يقدم هندسة ثلاثية المراحل تُدخل مفهوم الذاكرة التمثيلية إلى نماذج MLLMs. في المرحلة الأولى، يتم ضغط الصور إلى رموز بصرية متقطعة باستخدام تقنية VQ-VAE. وبعد ذلك، يتم استخدام نموذج لغوي مُعدل بعناية (LoRA-fine-tuned) يتعامل بشكل مشترك مع الرموز البصرية والنصية. أما في المرحلة الأخيرة، يقوم مُشفّر تفاضلي بإعادة بناء الصور من حالات النموذج اللغوي المخفية.

عبر التجارب التي تم إجراؤها على 1000 خريطة للجلد ثلاثي الأبعاد و99,000 صورة وجه غير معلمة، وُجد أن الحالات المخفية للنموذج اللغوي لا تحتوي على معلومات بصرية قابلة للاسترداد. هذا يدل على أن النموذج يفهم الصور ولكنه لا يتذكرها. ولعبت مصفوفة الذاكرة المشتركة دورًا رئيسيًا في جهود التدريب، ومع ذلك كانت هناك صعوبات كبيرة نتيجة لتداخل التدرجات.

تقديم حل للتحديث المحلي للمعدل المتحرك (EMA) يثبت فعاليته، حيث توفر فقط كل صورة 8 مواقع من أصل 64 لحفظ تنوع البيانات. من خلال هذا النهج، تقترب المصفوفة الناتجة من الحد العلوي للتوقعات على صور اختبار غير مرئية. وبتوسيع العدد إلى 1024 موقع، تم تحقيق نتائج تتجاوز الحدود السابقة.

تحت إطار المعلومات النظرية، يتمثل الجديد في أن الذاكرة تمثل نوعًا من الضغط المفقود، بينما تُعد القدرة على الاسترجاع هي عملية تفكيك، وتأخذ خاصية الهلوسة مكانها كخاصية متأصلة في عملية التفكيك المفقود بدلاً من كونها عيباً. وبهذا، يتجاوز النموذج الجديد المفاهيم التقليدية ويعيد تشكيل كيف يتفاعل الذكاء الاصطناعي مع البيانات في اشكالها المتعددة.