في عالم الذكاء الاصطناعي القابل للتفسير (XAI)، عادة ما يتم تقييم أساليب التفسير باستخدام مقاييس الصواب الوظيفي، والتي تُعرف أحيانًا بالإخلاص أو الانكباية. يُعتقد أن زيادة مستوى التصحيح تؤدي إلى تحسين فهم البشر، ولكن لم يتم اختبار هذه الفرضية بشكل كافٍ ضمن مستويات تحكم.

لتسليط الضوء على ذلك، أجرينا دراسة مستخدمين شملت 200 مشارك، حيث تم التلاعب بمستويات التصحيح لأربع خانات (100%، 85%، 70%، 55%) في مهمة تصنيف سلسلة زمنية صناعية، حيث لم يكن بإمكان المشاركين الاعتماد على المعرفة الخاصة بالمجال أو الحدس البصري. تم تعريف التصحيح بناءً على حقيقة معروفة، وليس مستندًا إلى نموذج مدرب.

طلبنا من المشاركين التنبؤ بقرارات الذكاء الاصطناعي المزيف من خلال تفسيرات وأساليب عائدة لميزة معينة، واستخدمنا دقة نقص التنبؤ كنموذج للفهم. وقد أظهر تحليلنا أن التصحيح يؤثر على الفهم، ولكن ليس على جميع المستويات: حيث انخفضت دقة التنبؤ عند 70% و55% مقارنة بالتفسيرات الصحيحة تمامًا، ولم يحدث مزيد من الانخفاض تحت 70%، ولم نجد فرقًا قاطعًا بين 85% و100%.

مرة أخرى، أظهرت الدراسات الاستكشافية أن بعض المشاركين قد توقعوا القرارات بدقة، ولكنهم وصفوا أنماطًا خاطئة عندما سئلوا عن ما استخدمه الذكاء الاصطناعي. كما ارتبطت التقييمات الذاتية بالدقة فقط عند تقديم تفسيرات صحيحة بالكامل. تشير هذه النتائج إلى أنه ليس كل الاختلافات في الصواب الوظيفي تترجم إلى اختلافات في فهم البشر، مما يبرز أهمية التحقق من المقاييس الوظيفية بالتوازي مع النتائج البشرية.