في عصر الذكاء الاصطناعي، تكمن إحدى التحديات الكبرى أمام نماذج اللغة في تمييز البيانات المدعومة من غير المدعومة. ولقد أثبتت الأبحاث الحديثة أن نماذج اللغة، مثل تلك المستخدمة في مساعدي البحث وأدوات المعرفة المؤسسية، تعتمد بشكل متزايد على الوثائق المسترجعة للإجابة على الأسئلة عوضًا عن الذاكرة فقط.

ومع أن ربط النموذج بالنصوص المسترجعة يقلل من التصريحات غير المدعومة، إلا أنه لا يقضي عليها تمامًا، مما يجعل من الصعب على القارئ الفهم تحديدًا ما إذا كانت الجملة الأساسية منسوخة من مصدر موثوق أم مبتكرة.

ولمواجهة هذه المشكلة، تمثل دراسة جديدة استخدمت معيار RAGTruth خطوة متقدمة، حيث تم تقييم الإجابات المشكوك فيها من خلال تحليل كل ادعاء حقائقي بصورة منفصلة ومقارنته بمصادره المسترجعة. تم تقسيم الاستراتيجيات إلى أربع طرق متزايدة التعقيد لإصلاح الأخطاء: حذفت ادعاء غير مدعوم، استبدالها بنص المصدر، وإعادة كتابة الجملة.

أثبتت التجارب أن جميع الاستراتيجيات الثلاثة تساهم في تقليل نسبة الإجابات التي تحتوي على محتوى غير مدعوم. وأظهر التحليل أن الحذف يحقق أكبر تخفيض بينما يحتفظ بأقل جزء من النص الأصلي، بينما يحتفظ الإصدار المعاد كتابته بنسب أعلى ولكنه يقلل بشكل أقل.

هذه الاستراتيجيات ليست فقط محصورة على الإجابات الخاطئة، بل أظهرت أيضًا أن 83.5% من الإجابات المنقحة والمدعومة تحتاج أيضًا إلى تعديل. يجب أن تعتمد اختيار الاستراتيجية المناسبة على بيانات حول فائدة الإجابة، مما يعني أن المقاييس الذاتية لا تكفي وحدها لتحديد أفضل الطرق.