شهد مجال الذكاء الاصطناعي (AI) طفرة نوعية مؤخرًا، حيث أصبحت الوكالات الذكية قادرة على حل المشكلات، والإجابة كخبراء، وتوليد محتوى متنوع. ولكن الجديد في هذا الصدد هو "تحدي تعليم الوحش" (Teaching Monster Challenge)، الذي يمثل الأول من نوعه في قياس معرفة المحتوى التعليمي (Pedagogical Content Knowledge) عن طريق تقييم قدرة هذه الأنظمة على تخصيص المحتوى التعليمي وفقًا لاحتياجات المتعلمين.

يهدف تحدي تعليم الوحش إلى تقييم أداء الأنظمة التعليمية من خلال إنتاج فيديوهات تعليمية موجهة، حيث يتم منح كل نظام موضوعًا وشخصية متعلم محددة، ويتوجب عليه إنتاج فيديو تعليمي كامل. يمر كل فيديو بعملية تقييم من قبل قاضٍ يعمل بنموذج لغوي ضخم (LLM-judge)، ويتم تصنيفه من خلال تصويت جماهيري. في النسخة الأولى من التحدي، أظهرت النتائج أن الأنظمة الحالية تتعامل بشكل جيد مع المحتوى، إلا أنها تعاني من ضعف في تقديمه وضبطه وفقًا لمتطلبات المتعلم.

بينما نجح LLM-judge في فرز الأنظمة ذات الأداء المنخفض، إلا أنه لم يتمكن من تقييم الأنظمة الأضعف بدقة. فقد حصلت الأنظمة القوية على درجات متقاربة من القاضي، مما جعل تصنيفها لا يتماشى مع تفضيلات البشر. لذا، فإن تحقيق التقدم في هذا المجال يتطلب تحسين الأنظمة التعليمية والتقنيات المستخدمة في التقييم الآلي.

تقدم هذه المبادرة Benchmark، وتصنيفات، وأحكامًا من البشر كأدوات اختبار لكل من الوكالات التعليمية والمقاييس التلقائية، مما يمهد الطريق لمستقبل مشرق في التعليم الذكي متعدد الوسائط.