تزايد الاعتماد على نماذج اللغات الضخمة (Large Language Models) في تقدير درجة صعوبة المسائل التعليمية أثار العديد من التساؤلات حول دقة هذه التقديرات، خاصة فيما يتعلق بكيفية تجربة الطلاب لركائز المعرفة. في دراسة حديثة، تم تحليل العلاقة بين تقييمات صعوبة المسائل التي تولدها هذه النماذج والأداء الفعلي للطلاب في مهام الرياضيات الأساسية.

خلال الدراسة، قامت أربعة أنظمة معتمدة على نماذج اللغات الضخمة بتوليد تقييمات لصعوبة 32 مسألة حسابية تتراوح من 1 إلى 100 عبر عدة جولات (N = 640 تقييم). هذه التقييمات تم مقارنتها بمستوى الصعوبة المستمد من استجابات 770 طالبًا إندونيسيًا، باستخدام نظرية الاختبار الكلاسيكي (Classical Test Theory) ونظرية استجابة العناصر (Item Response Theory).

أظهرت النتائج وجود ارتباط معتدل بين التقييمات، ولكن مع ظهور تناقضات كبيرة ومنهجية في المسائل المتعلقة بالكسور. بالرغم من أن بعض المسائل التي تم تقييمها بالسهولة تبين أنها كانت من الأصعب للطلاب، مثل مسألة سجلت 34.16% فقط من الإجابات الصحيحة.

تناقش الدراسة أن نماذج اللغات الضخمة غالباً ما ت approximates صعوبة المناهج الدراسية، أو ما يجب أن يكون سهلاً بحسب ترتيب التعليم، بدلاً من الصعوبة الإدراكية التي تنبع من المفاهيم الخاطئة. وهذا يؤدي إلى underestimated منهجي للعناصر التي تتسبب فيها المفاهيم الخاطئة، وهو ما نسميه بالفخ السهل (Easy Trap).

تسلط هذه النتائج الضوء على حدود تقدير الصعوبة المعتمدة على نماذج اللغات الضخمة وتوضح أن الاعتماد على مثل هذه التقديرات دون قاعدة تجريبية قد يقدم انحيازًا في تصميم التقييمات والأنظمة التكيفية.