تحتوي نماذج التعلم اللغوي المتعددة الأنماط (MLLMs) على قدرات قوية في تحليل استفسارات مفصلة، لكنها غالباً ما تعمل بشكل منفصل، حيث تحل كل مشكلة بدون الاستفادة من التجارب السابقة. وقد ركزت الأنظمة المساعدة على الذاكرة في الماضي على تخزين مسارات التجارب لاستخدامها لاحقاً، ولكن هذه الطريقة تواجه تحديات تتعلق بالتحيز للقصور في الذاكرة، مما يؤدي إلى فقدان المعرفة الأساسية في المجال.

الأكثر أهمية، أن هذه النماذج تسجل فقط آثار سلوك فردي عند التعامل مع المشكلات متعددة الأنماط، مما يجعلها تفتقر إلى القدرة على الحفاظ على كيفية تداخل الانتباه البصري مع التفكير المنطقي. ولتجاوز هذه العقبة، تم تقديم فيلوميم (ViLoMem)، وهو إطار عمل ذاكرة مزدوجة التشغيل، يبني ذاكرة متكاملة قائمة على المخططات.

يعمل فيلوميم على تشفير أنماط التشتت البصري وأخطاء التفكير المنطقي بشكل منفصل، مما يمكّن نماذج التعلم اللغوي من التعلم من تجاربها الناجحة والفاشلة. يتبع النظام مبدأ النمو والتحسين، حيث يقوم بتراكم المعرفة الدلالية متعددة الأنماط تدريجياً وتحديثها، مما يحفظ استراتيجيات مستقرة وقابلة للتعميم ويتجنب فقدان المعرفة بشكل كارثي.

في تجارب عبر ستة معايير متعددة الأنماط، أظهر فيلوميم تحسناً مستداماً في دقة النجاح @1، مع تقليل كبير للأخطاء البصرية والمنطقية المتكررة. وقد أكدت التحليلات على ضرورة استخدام الذاكرة ذات النمطين مع فصل التشتت الواضح، مما يُظهر قيمة الذاكرة الدلالية المستندة إلى الوعي بالأخطاء في التعلم الذاتي المستمر وعبر المجالات. لمزيد من المعلومات حول هذا المشروع، يمكن زيارة صفحة المشروع [هنا](https://weihao-bo.github.io/ViLoMeo-page).