في عالم الذكاء الاصطناعي (AI)، تُعتبر لجان القضاة طريقة رئيسية لتقييم الأداء، ولكن الدراسة الجديدة تشير إلى أن المقاييس الحالية قد تكون مضللة. فقد أظهرت الأبحاث السابقة أن الأخطاء بين القضاة التسعة تعادل تقريباً المعلومات الفعلية التي تقدمها لجنتا قضاة مستقلتان. هذا الاعتلال يُثير تساؤلات حول موثوقية التقييمات.

إحدى المعالجات الطبيعية لهذه المشكلة تكمن في إشارات من مصادر أدلة أخرى مثل تنفيذ مجموعة اختبارات، ومع ذلك، لم نشهد أي تغير ملحوظ في عدد الأصوات الفعالة للجنة عند التطبيق على نطاق واسع (-0.04).

تنشأ التحديات عندما نفكر في الاعتماد الجماعي ومدى جدوى القرارات. تظهر مسألة رئيسية: هل تزيد معدلات خطأ اللجنة في القرارات التي تعتمد على تصويت واحد، وهل يمكن أن تنجح التبديلات المفيدة في هذه الحالة؟ الأبحاث تشير إلى أن معظم المكاسب في الدقة تتركز على تلك القرارات الهامة، والتي يمكن أن تعزز دقتها من 10.4 إلى 23.3 نقطة مئوية عبر ثلاثة تكوينات بارزة.

وقد تأكدت هذه الأنماط عبر تجارب برمجية متعددة، مما يُثبت أن فهم مدى الاعتماد على المقاييس يسهم في وضع استراتيجيات أفضل لتقليل الأخطاء في أي سياسة استبدال تصويت مفرد. لذا، من الضروري إدراك أهمية دمج التشخيصات القائمة على التبعية في التحليل المستقبلي للجودة في لجان تقييم الذكاء الاصطناعي.