في عالم الذكاء الاصطناعي، يبرز مفهوم الذاكرة كأحد العناصر الحيوية لفهم مقاطع الفيديو طويلة الأمد. على الرغم من الجهود الكبيرة التي بُذلت في تطوير مجموعات بيانات الفيديو والمعايير القياسية، إلا أن التقييمات الحالية تغفل جانب الذاكرة: كيف تحتفظ النماذج بالمعلومات، ومدى دقة الحفاظ عليها، ومرونة الذاكرة في ظل الضغوط.

لمعالجة هذا النقص، تم تقديم M$^3$Eval، وهو الإطار الأول من نوعه لتقييم متنوع لأبعاد الذاكرة في النماذج متعددة الوسائط. يستند تصميم M$^3$Eval إلى علم النفس المعرفي، حيث يتضمن مهامًا تم إعدادها بعناية لعزل الجوانب الرئيسية للذاكرة.

عبر الاستفادة من M$^3$Eval، أجرينا تجارب شاملة على مجموعة مختارة من النماذج متعددة الوسائط، مع الكشف عن نقاط ضعف متكررة وسلوكيات مميزة. وجدنا أن النماذج تواجه صعوبة في الحفاظ على تمثيلات مفككة عند معالجة تدفقات الفيديو بالتوازي، كما تظهر أنماط تداخل تختلف بشكل كبير عن تلك الموجودة في الذاكرة البشرية. إلى جانب ذلك، تستند المصادر الذاكرية بشكل أكثر موثوقية على المجال المكاني مقارنة بالمجال الزمني، مما يظهر ذاكرة رمزية محدودة.

بشكل عام، يوفر معيار M$^3$Eval موردًا قيمًا للبحث في المستقبل، بينما تسلط النتائج الضوء على الذاكرة كقدرة أساسية لكنها أقل استكشافًا، وتقدم رؤى حول كيفية تصميم آليات ذاكرة أكثر فعالية في النماذج متعددة الوسائط. يمكن الاطلاع على الرمز وبيانات البحث الخاصة بنا على [رابط الموقع].