تعتبر عملية التعليم الفعالة متعلقة بقدرة النظام التعليمي على تمييز بين الحلول الصحيحة والأخرى التي رغم كونها صالحة إلا أنها تعتبر دون المستوى الأمثل، وهي مسألة تعد جوهرية في أنظمة التعليم الذكية (ITS). ومع تنامي استخدام نماذج اللغات الضخمة (LLMs) كمكملات محادثة لأنظمة التعليم الذكية، يصبح من الضروري تقييم دقة تشخيصها.

في هذا الصدد، قدم الباحثون معياراً لتقييم سبعة وكالات تغذية راجعة قائمة على نماذج اللغات في مجال المنطق الاقتراحي، مستخدمين حقائق مستمدة من الرسوم البيانية المعرفية عبر 10,836 زوج من الحلول والتغذية الراجعة تحت ثلاثة شروط مختلفة. أظهرت النماذج أداءً قريبا من السقف فيما يتعلق بالخطوات المثلى، لكنها جاءت بسجل ضعيف في رفض الحلول الصالحة وإن كانت دون المستوى الأمثل، كما أنها حققت علامات مرتفعة في التحقق من الحلول الخاطئة، وهو ما يمثل عقبة حقيقية في مجال التعليم التكيفي.

تظل هذه الإخفاقات متكررة عبر النماذج بغض النظر عن سياق الحل، مما يشير إلى أن المشكلة قد تكون معمارية أكثر من كونها معلوماتية. إلى جانب ذلك، لم يتمكن التشخيص الدقيق من إنتاج تغذية راجعة تربوية عملانية بشكل موثوق، مما يكشف عن فجوة بين الحكم التشخيصي والفاعلية التعليمية.

تشير نتائج الدراسة إلى أن نماذج اللغات الضخمة قد تكون أكثر فعالية في الهياكل الهجينة حيث تتولى نماذج تعتمد على الرسوم البيانية المعرفية مهام التشخيص، بينما تدعم نماذج اللغات الضخمة إنشاء الحوار والتوجيه المفتوح. يعد هذا البحث بمثابة دعوة لتطوير طرق جديدة لتعزيز فعالية التعليم بالذكاء الاصطناعي ومواجهة التحديات المرتبطة بتقديم تغذية راجعة مناسبة للطلاب.