في السنوات الأخيرة، بدأ الاهتمام يزداد بشكل ملحوظ باستخدام نماذج لغوية ضخمة (Large Language Models) في مجال المراجعة العلمية. حيث تتزايد أعداد الأوراق العلمية المقدمة بشكل غير مسبوق، مما يثير تساؤلات حول آليات المراجعة التقليدية.

طرق التقييم الحالية تعتمد غالبًا على مقارنة ادعاءات المساهمة في الأبحاث بالمعرفة السابقة، في الوقت الذي نفترض فيه ضمنيًا أن تلك الادعاءات تدعمها الأدلة المنهجية المتواجدة داخل العمل العلمي نفسه. لكن، يواجه المراجعون البشريون في كثير من الأحيان تحديات تتعلق بادعاءات الحداثة؛ ليست نتيجة وجود أفكار مشابهة بل بسبب عدم كفاية الأدلة المنهجية المقدمة لدعم تلك الادعاءات.

في استجابة لهذه الفجوة، تم تقديم إطار عمل يسمى "التحقق من الادعاءات داخل الورقة" (intra-paper claim verification). هذا الإطار يقيّم مدى دعم الطرق المنهجية للادعاءات المعلنة في البحث. حيث يستخدم LLM لاستخراج ادعاءات الحداثة من المقدمة، واسترداد الأدلة المنهجية ذات الصلة، وتقييم ما إذا كانت تلك الطرق تدعم المساهمات المذكورة.

تعتمد العملية على معايير تقييم مستلهمة من ملاحظات المراجعين البشرية، وقد تم استنباطها من مراجعات 182 ورقة بحث ضمن مؤتمر ICLR 2025. تهدف هذه المعايير إلى التقاط مخاوف المراجعين المتكررة المتعلقة بالحداثة والمنهجية والوضوح.

وبعد إجراء بعض التقييمات، أظهرت النتائج توافقًا ملحوظًا بين التقييمات الناتجة عن الإطار ومخاوف المراجعين، خاصة فيما يتعلق بقضايا الحداثة. وقد تم استخدام مقياس BERTScore لتمييز أزواج المراجعات البشرية-الآلية من المجموعات غير المتطابقة، مما يشير إلى أن الإطار يلتقط مخاوف تتوافق مع ملاحظات المراجعين البشريين.

هذا الابتكار يعد خطوة هامة نحو تحسين جودة المراجعة العلمية ويعكس إمكانية استخدام الذكاء الاصطناعي في تعزيز الممارسات الأكاديمية. فما رأيكم في هذه التطورات الجديدة؟ شاركونا آرائكم في التعليقات.