مع تقدم الذكاء الاصطناعي، أصبح من الضروري قياس كيفية تعامل نماذج اللغة (Language Models) مع المعلومات المتعارضة. قدم الباحثون حديثاً مقياساً تحت اسم ConflictScore، الذي يهدف إلى تقييم استجابة النماذج أمام الأدلة التي تحتوي على تعارض.
حتى الآن، كانت مقاييس الحقيقة والموثوقية تعتمد على فرضية وجود دعم أو ت contradicted by evidence. لكن ماذا عن الحالات التي توجد فيها أدلة داعمة وأخرى متعارضة في نفس الوقت؟ هنا يأتي دور ConflictScore، المقياس الجديد الذي يتيح لنا قياس مدى اعتراف النموذج بالأدلة المتعارضة.
تعتبر المنهجية المستخدمة في تطوير ConflictScore مبتكرة، حيث تُفكك الاستجابات إلى مطالبات بسيطة، ثم يتم تصنيف كل مطالبة بناءً على أدلتها. يتم احتساب مقياسين منهجيين: ConflictScore-Count (CS-C) الذي يقيس نسبة المطالبات التي تظهر فيها حالات تعارض، وConflictScore-Ratio (CS-R) الذي يقيس التوازن بين الأدلة الداعمة والمتعارضة.
تم تطوير ConflictBench، وهو معيار شامل يغطي أشكال متنوعة من التعارض مثل الغموض والتناقض والآراء المختلف عليها، وذلك لتقييم ConflictScore بشكل منهجي.
خلصت التجارب إلى أن هذا المقياس يمكنه اكتشاف المطالبات المبالغة في الثقة عبر مجالات متعددة، كما يمكن أن يعمل كآلية لتصحيح الأخطاء التي تُحسن من مصداقية المعلومات المقدمة في اختبارات مثل TruthfulQA.