مع تزايد الاعتماد على أنظمة الذكاء الاصطناعي (AI) كمصادر للمعلومات السياسية والأحداث الحالية، أصبح من الضروري تقييم جودة هذه المعلومات بشكل دقيق. فأنظمة النقل المعتمدة اليوم تعتمد بشكل كبير على تقييمات قديمة أو غير موثوقة قد تقود إلى نتائج مضللة.

لذا، تم تطوير NewsBench، معيار جديد يركز على تقييم الجودة من منظور المعايير التحريرية التي وضعها خبراء في مجالات الصحافة، والسياسة، وتحليل المعلومات. يتم تقييم المعلومات عبر ثلاثة أبعاد رئيسية: جودة المصادر، والحقائق، والحياد.

يحتوي NewsBench على حوالي 3000 حافز للتقييم، مع تحديث حوالي 500 منها شهريًا لمواكبة الأحداث الحالية. كما يتضمن 2500 عنصر تمت مراجعتها من قبل خبراء لتوفير معايير موثوقة للتقييم. الهدف هو تمكين تقييم قابل للتوسع باستخدام قضاة ذكاء اصطناعي تم تقييمهم مقابل labels ذهبية تم الحكم عليها بواسطة خبراء.

لإثبات فعالية هذه المنهجية، تم قياس دقة التقييم بين الخبراء والبشر، مما أظهر توافقًا جيدًا عبر الأبعاد الثلاثة. علاوة على ذلك، تم تطبيق NewsBench على أربعة نماذج رائدة، مما كشف عن أنماط فشل متميزة وغير متداخلة تتعلق بالسحب، والحقائق، والحياد، مما يبرز أهمية التطبيق العملي للذكاء الاصطناعي في تقديم معلومات دقيقة وموثوقة.