في عالم الذكاء الاصطناعي (AI) حيث يتم استخدام الأدلة المسترجعة في عملية توليد المعلومات، تقدم دراسة جديدة تحمل عنوان RAG-Stress رؤية مبتكرة لفحص كيفية تأثير هذه الأدلة على صحة الإجابات التي تقدمها النماذج. في العديد من الأحيان، يمكن أن يؤدي الاعتماد على أدلة مضللة إلى استبدال إجابة صحيحة بأخرى غير دقيقة، وهذا ما تناولته الدراسة.

RAG-Stress هو بروتوكول تشخيصي مقدّم لدراسة حدود الاعتماد على الأدلة في جيل المعلومات المحسن (Retrieval-Augmented Generation). يقوم البروتوكول بتثبيت السؤال والإجابة المرجعية، ثم يعدل أحد الادعاءات لدعم إجابة غير صحيحة محددة. تتقاطع الدراسة بين سياسات أولوية المصدرين وثلاثة مواقع لنطاق الإجابة ضمن النص المتعلق بالأدلة.

تم قياس معدل الم misleading (MR) على أسئلة معينة تم الإجابة عليها بشكل صحيح دون استخدام الاسترجاع، جنباً إلى جنب مع دقة نظيفة على مجموعة التقييم الكاملة. تم الاختبار على خمسة عشر نظامًا تشمل نماذج API، ونماذج مفتوحة، وعوامل بحث تم تدريبها باستخدام التعزيز التعلمي (Reinforcement Learning) على مجموعة من الاختبارات مثل TriviaQA-RC وHotpotQA وSearchQA.

تكشف النتائج أن التعليمات التي تعطي الأولوية للمستندات تؤدي بشكل مستمر إلى ارتفاع معدل الم misleading مقارنة بتلك التي تسمح بالاعتماد على المعرفة السابقة. بمتوسط ​​يتراوح بين 10.9 إلى 13.5 نقطة مئوية عبر مجموعات الأسئلة الثلاث، يتبع معدل الم misleading ترتيب معين يشير إلى أن النهاية تكون أوضح من البداية والوسط.

تعتبر هذه النتائج مهمة لأنها تميز الالتزام بالأدلة عن الموثوقية الواقعية، وتحث على ضرورة تقييم ما إذا كانت الأدلة المسترجعة تُحافظ على الإجابات، أو تستبدلها، أو تصححها.