أحدثت نماذج اللغة الضخمة (LLMs) ثورة في العديد من المجالات، وخاصة في مجال التعليم، حيث أثبتت قدرتها الفائقة على التعامل مع المهام المتعلقة بالبرمجة وحل المشكلات. في دراسة جديدة، تم تقديم معيار جديد يدعى MateInfoUB، وهو مقياس واقعي مصمم لتقييم أداء هذه النماذج في سياقات تعليمية تنافسية تتضمن لغتين: الإنجليزية والرومانية.

فريق البحث قام بتجميع مجموعة بيانات متعددة الوسائط تُستخدم لاختبار الأسئلة متعددة الخيارات المستمدة من مسابقات متقدمة في علوم الكمبيوتر. كان من الملفت أن الدراسة توضح أن بعض المسائل تُحل بشكل أفضل باستخدام التفكير الورقي، بينما يعتبر كتابة الكود أكثر فعالية لبعض المسائل الأخرى.

تمت معالجة أداء نماذج اللغة الضخمة باستخدام هذه البيانات، مما أظهر نقاط القوة والقيود الموجودة لدى هذه النماذج، بما في ذلك تأثير اختيار اللغة. حيث تقدم هذه الدراسة رؤى قيمة حول قابلية استخدام هذه النماذج في بيئات التعليم والتنافس.

كما تنبه الدراسة إلى المسائل الأخلاقية الهامة المتعلقة بنزاهة التعليم وعدالة التقييمات، لتكون بمثابة مرجع لإبلاغ الممارسات والسياسات التعليمية المستقبلية.

لدعم الأبحاث المستقبلية، سيتم توفير مجموعة البيانات بشكل عام باللغتين الإنجليزية والرومانية، بالإضافة إلى إطلاق تطبيق تعليمي مصمم خصيصاً للطلاب الرومانيين، مما يتيح لهم تقييم أنفسهم باستخدام هذه المجموعة في بيئة تفاعلية وموجهة نحو الممارسة.