أصبح تقييم الأبحاث العلمية عن طريق الأقران أداة مهمة لضمان جودة العلم. ومع ذلك، كان التركيز في تطوير نماذج الذكاء الاصطناعي على مجالات محددة مثل علوم الحاسوب والتعلم الآلي. لهذا، تم تقديم FIRSTPASS، وهو أول قاعدة بيانات رائدة تعتمد على حوارات تقييم الأقران المكونة من عدة جولات من مجلة علمية عالية التأثير.

تم تجميع قاعدة بيانات FIRSTPASS من نظام المراجعة الشفاف الإجباري لمجلة Nature Communications، الذي تم تطبيقه منذ نوفمبر 2022. تحتوي هذه القاعدة على 3,668 سجل تغطي خمسة مجالات علمية مختلفة: الأحياء، الكيمياء، علوم الأعصاب، الفيزياء، وعلوم الأرض. ما يميز هذه القاعدة هو أنها تلتقط الهيكل التكراري الكامل لعملية التحقق العلمي، بدءًا من تقارير المحكمين الأولية إلى ردود المؤلفين، وصولًا إلى التقييمات المحدثة من المحكمين.

كل سجل يحمل تصنيف نتيجة مستمد مباشرة من القرارات التحريرية، مما يوفر حقائق واقعية غير متوفرة في قواعد البيانات السابقة. تأكد التدقيق الآلي من صحة المحتوى بنسبة 100%. كما يبلغ متوسط تقييمات الخبراء 2,155 كلمة، مما يجعلها أكثر كثافة مقارنةً بمراجعات المؤتمرات.

تأتي أهمية هذه البيانات من أنها تمكن المجتمعات العلمية من قياس أداء الذكاء الاصطناعي في تقييم الأبحاث عبر مجالات متنوعة، مما يعزز الفهم الدقيق لجودة الأبحاث في التسليمات المختلفة.