في عصر الذكاء الاصطناعي، يزداد الاهتمام بنماذج اللغات الكبيرة (Large Language Models) لتكون معلمين في بيئات التعليم. لكن، يثير استخدام هذه النماذج في المدارس الابتدائية والثانوية (K-12) العديد من المخاوف المتعلقة بالخصوصية والكلفة والاعتماد على نماذج محمية. هنا يظهر دور نماذج اللغات الصغيرة (Small Language Models) كبديل واعد، ولكن اختيار النموذج المناسب للسياق التعليمي المحدد، خاصة في مجالات مثل البرمجة القائنة على الكتل، يمثل تحدياً كبيراً.

لذا، تم تقديم CSTutorBench، معيار جديد لتقييم أداء نماذج اللغة في دور معلمي علوم الكمبيوتر (CS Tutors) ضمن بيئة VEX VR، التي تعتمد على البرمجة القائم على الكتل. يتضمن هذا المعيار 17 سؤالاً مبنيًا على سيناريوهات والتي يتم تقييمها وفقًا لمعايير تربوية مستندة إلى أبحاث قائمة. كما تم استخدام نظام مدمج لقياس الأداء يتضمن نموذج الذكاء الاصطناعي كحكم.

تكشف النتائج الأولية عبر 11 نموذجاً (تتراوح عدد المعاملات من 4 مليار إلى 120 مليار) أن النماذج تُظهر أداءً جيدًا في معايير سطحية مثل المفردات والنبرة، لكن تواجه تحديات في السلوكيات التعليمية الأعمق، مثل تجنب تسرب الإجابات والتفاعل مع تاريخ تصحيح الأخطاء لدى الطلاب.

وبحسب عيّنتنا، يبدو أن نوع النموذج ونهج تعليم التعليم يظهر كعوامل أفضل في التنبؤ بجودة التعليم مقارنة بعدد المعاملات فقط، على الرغم من أن العدد المحدود للنماذج يقيد قوة هذه النتيجة. كما أدت مراجعة مستهدفة للمطالب المستندة إلى أبحاث هندسة التعليم الحديثة إلى تحسين النتائج لـ 10 من بين 11 نموذجًا.

تؤكد هذه النتائج على أهمية معايير تربوية موجهة وسياقية لاختيار نماذج الذكاء الاصطناعي الصغيرة في البيئات التعليمية. ما هي رؤاكم حول هذه التطورات في الذكاء الاصطناعي في التعليم؟ شاركونا في التعليقات.