في عالم الأبحاث الأكاديمية، لم تعد نماذج اللغات الضخمة (LLMs) مجرد أدوات مساعدة، بل أصبحت جزءًا لا يتجزأ من workflows البحثية. لكن متطلبات الدقة العالية تكشف عن مشكلة رئيسية؛ وهي الثقة المفرطة. تُعرف الثقة المفرطة هنا على أنها الميل لإنتاج مخرجات واثقة، مؤكدة، ومنسقة جيدًا حتى عندما تكون المعرفة الأساسية ناقصة أو غير قابلة للتحقق.

لتناول هذه القضية، طور الباحثون إطارًا جديدًا يُعرف بـ GIScholarBench، وهو معيار يعتمد على 10,865 ورقة بحثية منشورة في 25 مجلة علمية متخصصة في GIScience بين عامي 2020 و2025. يشمل هذا المعيار ثلاث مهام تتفاوت في تعقيدها الإدراكي: استرجاع بيانات التعريف، الربط الأدبي، وتوليد اتجاهات البحث.

عبر تقييم نماذج مثل Claude Sonnet 4.5 وGemini 3 وChatGPT 5.3 في ظروف الاستخدام الواقعية، كانت النتائج متسقة في إظهار الثقة المفرطة في جميع المهام. في مهمة استرجاع البيانات، حقق ChatGPT 5.3 أعلى دقة، ولكنه استمر في توليد عناوين وDOIs قطعًا حتى عند وجود أخطاء في التوقعات.

أما في الربط الأدبي، فقد استعاد Claude Sonnet 4.5 أكبر عدد من المراجع، لكن جميع النماذج أظهرت فجوة واضحة بين الاسترجاع الأعلى تصنيفًا والقوائم الأطول للتوثيق، مما يشير إلى أن المراجع تمتد لأبعد من القدرة القابلة للاعتماد على الاسترجاع.

وفي مهمة توليد اتجاهات البحث، أظهرت الاتجاهات المُنتجة بواسطة الذكاء الاصطناعي انخفاضًا في تنوع الموضوعات، وزيادة في معدلات الخسارة في الجوانب الجديدة، وانخفاضًا في التنوع الدلالي مقارنةً بالأوراق البحثية المسحوبة من المستقبل.

تشير هذه النتائج إلى أن الثقة المفرطة لنماذج اللغات الضخمة هي ظاهرة مستقلة عن المهام لكنها تظهر في أشكال مختلفة: إفراط في الحقائق عند الاسترجاع، توسيع غير موثوق للتوثيق في الربط الأدبي، وثقة مفرطة في اكتمال المخرجات خلال تأسيس الأفكار البحثية.