تواجه أنظمة الذاكرة المعتمدة على نماذج اللغات الضخمة (Large Language Models) تحديات متزايدة عندما يتعلق الأمر بإدارة الحقائق التي تتطور مع مرور الوقت. من أبرز هذه التحديات هو "حل النزاعات"، حيث تتقدم الحقائق بعناوين متعددة وقيم متناقضة، مما يثير التساؤل حول أي المعلومات يجب على النظام العودة إليها.

في هذا السياق، يقدم بحث "MemoryAgentBench" (MAB) مهمة تسمى "توحيد الحقائق"، حيث يتم ترقيم الحقائق وفقًا لتسلسل زمني معين، مع فرض أن الحقائق الأحدث تحمل تسلسلات أعلى. لكن على الرغم من ذلك، لا تزال النظم المنشورة تحقق أداءً ضعيفًا؛ على سبيل المثال، سجل نموذج HippoRAG-v2 نسبة 54% في الاختبارات الفردية، بينما حقق نموذج BM25 نسبة 48%، ونموذج Mem0 حقق 18%، ونموذج الـ KG الزمني Zep/Graphiti لم يتجاوز نسبة 7%.

تظهر التحديات أيضًا في اختبارات "المتعددة القفزات"، حيث يقترب الأداء من 7% كحد أقصى عبر 22 نظامًا مختلفًا.

المثير للاهتمام هو أنه يظهر أن عنق الزجاجة يكمن في خطوة التجميع، حيث تميل المعايير إلى ترك عملية حل النزاعات لعملية الاسترجاع أو التوليد التي تعتمد على نماذج الذكاء الاصطناعي، بدلاً من الاعتماد على تجميع مدرك للإصدارات. أظهرت مقارنة متطابقة ترابطاً بين إعدادات الاسترجاع، والتقطيع، والحمولة، أن استبدال نظام الإجابة القائم على نموذج الذكاء الاصطناعي بـ آلية استخراج المرشحين مع استخدام دالة تحقيق القيم القصوى (max) أدت إلى تحسين الأداء بمقدار 10.8 نقطة.

هذا التحسين لم يكن محدودًا فقط بإجراء معين، بل أثر على مجمل خط الأنابيب (pipeline) الذي يتضمن العوامل المرتبطة بالحل والمطالبات والأشكال ودرجة الحرارة. وبالنظر إلى النتائج، يمكن أن تصل نسبة النجاح إلى 78% في الاختبارات الفردية باستخدام نموذج gpt-4o-mini، مما يظهر تطورًا واضحًا في أداء النماذج عند استخدام استراتيجيات تجميع عقلانية.

إن فهم هذه الديناميكيات قد يساعد في تجاوز العقبات الحالية في معالجة صراعات البيانات، ويشير إلى أن الحلول يجب أن تركز على التجميع القائم على القيم الحالية مع توفير معالجة واعية لنوع الأسئلة في تطبيقات الذاكرة الأوسع.