يعتمد أداء الوكلاء في العالم الحقيقي على قدرتهم على معالجة معلومات تمتد على فترة زمنية طويلة ومتطورة، حيث يتم تحديث البيانات باستمرار وقد تتداخل الذاكرة بينها. تتطلب هذه العملية استرجاع دقيق وقدرة على التفكير المنطقي المجمع عبر معلومات متعددة. إلا أن الاختبارات الحالية تركز على الاسترجاع الثابت المستقل، مما يفشل في التقاط التفاعلات الديناميكية بين الذكريات المتطورة.

في البحث الجديد المعنون بـ LongMINT (Long-Horizon Memory under INTerference)، تم تقديم معيار يسلط الضوء على كيفية أداء الوكلاء المعززين بالذاكرة في ظروف واقعية تحتوي على تداخلات كثيفة وممتدة عبر مجالات متنوعة وأنواع من الأسئلة. يتضمن LongMINT:

1. سياقات طويلة ومترابطة للغاية مع معلومات تُحدث بشكل متكرر مما يسبب تداخلًا كبيرًا.
2. مجالات متنوعة تشمل تتبع الحالة، والحوار متعدد الجولات، وتعديلات ويكيبيديا، والتغييرات في GitHub، مما يساعد في تقييم التعميم عبر المجالات.
3. أنواع متنوعة من الأسئلة التي تقيم متانة الأنظمة ضد التداخل، بما في ذلك مهام استرجاع الهدف الواحد التي تتطلب استرجاع هدف محدد من سياقات طويلة، ومهام تجميع الأهداف المتعددة التي تتطلب التفكير في قطع المعلومات ذات الصلة.

تتضمن مجموعة LongMINT أكثر من 15.6 ألف زوج من الأسئلة والإجابات عبر سياقات طويلة بمتوسط يبلغ 138.8 ألف رمز ويمتد إلى 1.8 مليون رمز لكل حالة. تم تقييم 7 أنظمة تمثيلية، بما في ذلك نماذج اللغات الطويلة التقليدية (vanilla long-context LLMs) وRAG، وأطر الوكلاء المعززين بالذاكرة. ومن الملاحظ أن الأداء كان منخفضًا بشكل مستمر (بمعدل دقة 27.9%)، خصوصًا في الأسئلة التي تتطلب تفكيرًا مجمعًا حول عدة أدلة. تشير التحليلات إلى أن الأداء يقتصر أساسًا على استرجاع المعلومات وبناء الذاكرة.

علاوة على ذلك، تكافح الأنظمة الحالية لاسترجاع والتفكير في الحقائق السابقة التي تم تعديلها أو تأثرت بالسياقات اللاحقة، حيث يتدهور الأداء مع زيادة عدد التحديثات المع intervening. يمثل LongMINT دعوة لتعزيز فعالية أنظمة الذكاء الاصطناعي في معالجة التحديات الديناميكية المعقدة في البيانات، مما يبرز الحاجة إلى التحسينات المستقبلية.