تحولات نماذج اللغة الكبيرة: هل يمكننا الاعتماد على الذكاء الاصطناعي في الكتابة العلمية؟

في زمن تشهد فيه الكتابة العلمية تحولاً جذرياً بفعل الذكاء الاصطناعي، بدأت المجلات والمؤتمرات في إجراء فحوصات للكتابات المقدمة لتحديد النصوص المكتوبة باستخدام نماذج اللغة الكبيرة (Large Language Models). ومع ذلك، فإن موثوقية هذه الفحوصات تعتمد بشكل كبير على تقييمات معيارية تتعلق بإصدارات معينة من هذه النماذج. وهو ما يطرح سؤالاً مهماً: كيف تؤثر التغييرات المستمرة في إصدارات نماذج اللغة الكبيرة على دقة هذه الفحوصات؟

دراسة جديدة تناولت هذا الموضوع من خلال تحليل 4000 ملخص قبل وصول ChatGPT، حيث تم مقارنتها ببعض الكتابات المعاد صياغتها باستخدام 23 نموذجاً مختلفاً من ثلاثة مزودين، تم إصدارها بين يونيو 2023 وأغسطس 2026. وقد أظهرت النتائج أن أدوات الكشف التي تم تدريبها على إصدارات سابقة من النماذج قد تسقط عند الانتقال بين الأجيال المختلفة، مما يؤدي إلى نتائج خاطئة في فحص المحتوى.

على سبيل المثال، يمكن لمسؤول الكشف، الذي تم تدريبه على نماذج معينة، أن يتغاضى عن 99% من إعادة صياغة النصوص التي تلي حادة التحول في النماذج، بينما يخطئ في تحديد 1% من الملخصات التي كتبها البشر. وفي سيناريوهات الفحص التي تمت محاكاتها، كشفت الأدوات تغطية ضعيفة، حيث أظهرت أنها قد تحدد واحداً من كل ثمانية ملخصات ككتابات بشرية أو تفوت واحداً من كل ثلاثة نصوص تمت إعادة صياغتها باستخدام الإصدارات الأحدث.

تظهر هذه النتائج أهمية تحديث وإعادة التحقق من دقة أدوات الكشف بانتظام مع كل إصدار جديد من نماذج اللغة الكبيرة. لذا، يجب على سياسات نزاهة الأبحاث أن تتعامل مع دقة هذه الأدوات باعتبارها دقة مؤقتة تحتاج إلى مراجعة مستمرة مع كل تحديث للنماذج.