هل تستطيع نماذج اللغة الكبيرة تقييم ما تراجعه بموضوعية؟ دراسة جديدة تكشف المفاجآت!

في عالم الأكاديمية، مفهوم الاعتماد على الذكاء الاصطناعي في مراجعة الأبحاث يزداد شيوعاً. تتناول الدراسة الجديدة تساؤلات مهمة حول مدى قدرة نماذج اللغة الكبيرة (Large Language Models) على تقييم الأوراق البحثية والكشف عن الأخطاء. تم تقييم نموذجين مشهورين Qwen2.5-VL-72B وPixtral-Large-124B من خلال مراجعة 165 مساهمة لمؤتمر التعلم التمثيلي 2026، وهي فترة جاءت بعد انتهاء تدريب النماذج.

ابتكرت الدراسة تجريباً شاملاً حيث تم تعديل هوية المؤلفين، إما بإخفائها أو استبدالها بجهات مرموقة وغيرها ذات سمعة أقل. كما تم تقديم المخطوطات في شكل نصوص فقط أو نصوص مع رسوم بيانية. بالإضافة إلى ذلك، تم إدخال 145 خطأ يمكن اكتشافه بشكل موثوق في 55 مخطوطة لمراجعة مدى قدرة النماذج على التقاط الأخطاء.

أظهرت النتائج أن الدرجات التي حققتها نماذج اللغة تراوحت بين 7.0 و8.1، بينما كانت الدرجات المتوسطة التي منحتها البشر تراوح بين 3.4 و6.8. ومع ذلك، لم تستطع النماذج سوى اكتشاف 12.1% من الأخطاء المعروفة عند استخدام المحفزات الطبيعية، وزادت النسبة إلى 22.2% عند تقديم تعليمات للتحقق من الأخطاء، مما يعني أن 78% من الأخطاء ظلت دون الكشف.

كما أظهرت النتائج أن تقديم الرسوم البيانية قد قلل من نسبة اكتشاف الأخطاء، في حين زاد من درجات المراجعة. الأمر المثير هو أن هوية المؤلف لم تؤثر على درجات المراجعة أو الكشف عن الأخطاء. فهل يمكننا الاعتماد على نماذج اللغة الكبيرة في تقييم الأبحاث، أم يجب إعادة النظر في هذا الأمر؟