في عصر يتزايد فيه الاعتماد على نماذج اللغات الضخمة (Large Language Models) في كتابة المراجعات العلمية، أصبحت الأسئلة حول دقة هذه النماذج مقارنة بالمراجعات البشرية أكثر أهمية من أي وقت مضى. أظهرت دراسة جديدة كيف أن تقييمات هذه النماذج، بما في ذلك OpenAI GPT-5.4 وGoogle Gemini 3.1 Pro، لا تتفق دائمًا مع أولويات المراجعة التي يتبعها المحكمون البشريون.

تفاصيل الدراسة ">تفاصيل الدراسة


ها نحن نغوص في دراسة منشورة على arXiv، حيث تم التركيز على تقييم 300 ورقة بحثية تم تقديمها لمؤتمر ICLR 2026. تم تقسيم هذه الأوراق بالتساوي بين الأوراق المقبولة، والأوراق المعروضة، والأوراق المرفوضة. تم إزالة معلومات القرار قبل تقديم كل نموذج لمراجعة الأوراق، وتمت المطابقة بين تقييمات النماذج وتقييمات المحكمين البشر.

نتائج مثيرة للاهتمام ">نتائج مثيرة للاهتمام


أظهرت النتائج أن جميع نماذج اللغات الضخمة كانت قادرة على التمييز بين الأوراق المقبولة والمرفوضة، ولكنها failed to reproduce the distinction between oral and poster presentations as human reviewers did. بينما حصل نموذج Gemini على تقييمات أعلى بشكل منهجي، كانت نماذج OpenAI وClaude أكثر قربًا من تقييمات البشر للأوراق المرفوضة والأوراق المعروضة، لكنها كانت أكثر انتقادًا للأوراق المقدمة شفهياً.

وعلاوة على ذلك، أظهرت الدراسة أن نماذج اللغات الضخمة كان لديها تصورات مختلفة حول الأمور المهمة؛ حيث كانت النماذج تتعرف على الفجوات الأساسية بشكل متكرر أكثر من المحكمين البشر، الذين كانوا يميلون إلى تناول القضايا المتعلقة بكفاءة الحساب.

ماذا يعني هذا؟


تشير النتائج إلى أن توافق القرارات العريضة لا يعني بالضرورة توافقًا في التقييمات الدقيقة أو الأولويات الخاصة بالمراجعة التي يتبعها المسؤولون البشر.

في نهاية المطاف، تفتح هذه الدراسة أبوابًا جديدة لفهم كيفية استخدام نماذج الذكاء الاصطناعي في إعداد المراجعات العلمية وكيف يمكن تحسين تكاملها مع معايير المراجعة البشرية.

ما رأيكم في هذا التطور؟ شاركونا في التعليقات.