إعادة تقييم نظام المراجعة: دراسة جديدة تكشف أسرار قرارات قبول الأبحاث في المؤتمرات

تعد عملية مراجعة الأبحاث العلمية أحد المحاور الأساسية لتقييم جودة الأبحاث في المؤتمرات، ولكن ما الذي يحدث إذا تم مراجعة نفس البحث من قِبل مجموعة مختلفة من المراجعين؟ هذا هو السؤال الذي حاولت دراسة جديدة الإجابة عليه، والتي تناولت بيانات مراجعة الأوراق المقدمة لمؤتمر ICLR على مدار تسع سنوات من 2017 إلى 2025.

اعتمد الباحثون على إنشاء أداة تقدير للأرقام المستندة إلى بيانات مراجعة معلنة، حيث أظهرت النتائج أن معدلات عدم التوافق في قرارات القبول قد تصل إلى 30% عندما تتم مراجعة الأوراق من قبل لجنتين مستقلتين. باستخدام نموذج بروبيت المرتب من نوع بايزي، تمكنوا من فهم جودة الأوراق وعوامل الضوضاء في المراجعات.

تشير النتائج إلى أن ما بين 30% إلى 50% من الأوراق المقبولة قد تُرفض لو تم تقييمها من قبل لجان أخرى. كما تم اكتشاف أن النقاط العالية في المراجعات لم تكن متسقة على مدار السنوات، مما يثير تساؤلات حول أساليب المراجعة الحالية.

وفي إطار زمني يمتد من 2017 إلى 2025، لم تُظهر البيانات أي اتجاهات قوية تتعلق بزيادة الضوضاء في مراجعات الباحثين. ومع ذلك، يتميز عامي 2020 و2021 بتقلبات كبيرة في معدلات القبول، الأمر الذي يعود إلى تغيرات في طرق تقييم النتائج، حيث أن المقاييس المتبعة في عام 2020 أدت إلى Compression scores تتسبب في تباين أقل بين الأبحاث.

هذه الدراسة ليست فقط محاولة لتقدير معايير القبول، بل تثير العديد من الأسئلة حول مصداقية وأمانة عملية المراجعة العلمية. مع ظهور نماذج لغوية ضخمة (Large Language Models)، يبقى السؤال مفتوحاً: كيف يمكن أن تؤثر هذه التطورات في المستقبل على حركة مراجعة الأبحاث؟

ما رأيكم في فعالية نظام المراجعة المعتمد حالياً؟ شاركونا تعليقاتكم وآرائكم حول ما تتوقعونه في مستقبل مراجعة الأبحاث العلمية.