في عالم اليوم، تمثل أنظمة الأسئلة والأجوبة (QA) جزءًا محوريًا في مجالات متعددة، من التعليم إلى الإرشاد المهني. ومع ذلك، كانت معظم تلك الأنظمة تركز بشكل أساسي على الدقة الحقيقة، في حين أن العديد من التطبيقات في الحياة الواقعية تتطلب أكثر من مجرد إجابات صحيحة، بل تحتاج إلى توجيه وتفكير عميق. لتحقيق هذا الهدف، تم تقديم مجموعة بيانات MentorQA، والتي تعد الأولى من نوعها التي تسعى إلى دمج جوانب التوجيه ضمن أنظمة QA.

تشتمل مجموعة MentorQA على ما يقرب من 9,000 زوج من الأسئلة والأجوبة، مستمدة من 180 ساعة من الفيديوهات باللغة الإنجليزية والإسبانية والفرنسية والألمانية. تم تصميم أبعاد التقييم التي تركز على التوجيه لتتجاوز الدقة المجرّدة، حيث تركز على الجودة التعليمية، الوضوح، والتوافق مع متطلبات التعلم.

عبر استخدام هذه المجموعة، جرى تقييم أداء عدة هياكل لأنظمة الأسئلة والأجوبة، بما في ذلك النماذج أحادية وكثيرة الوكلاء. كانت النتائج مثيرة للاهتمام، حيث أثبتت الأنظمة متعددة الوكلاء تفوقها في إنتاج ردود تعليمية عالية الجودة، خصوصًا في المواضيع المعقدة واللغات ذات الموارد الأقل.

ليس هذا فحسب، بل قام الباحثون بتحليل موثوقية التقييم القائم على نماذج اللغة الضخمة (LLMs)، حيث لاحظوا وجود تباين واضح في توافق الحكم الآلي مع الأحكام البشرية. عبر هذه الدراسة الرائدة، تم تحديد البحث في QA الموجه كقضية بحثية مستقلة، مما يوفر معيارًا جديدًا لدراسة هياكل الوكالة وتصميم التقييم في الذكاء الاصطناعي التعليمي.

للحصول على المزيد من المعلومات ولمشاهدة البيانات المتاحة، يمكن زيارة المستودع الرسمي لمجموعة MentorQA.