تحليل تحيّز أنظمة تقييم المحادثة باللغة الثانية: كيف تؤثر النماذج على تقييم المتحدثين؟

في عصر يتزايد فيه الاعتماد على أنظمة التقييم الآلي لاختبارات المحادثة باللغة الثانية (L2)، يصبح من الضروري التأكد من أن النتائج تعتمد على كفاءة المتحدث وليس على خصائص غير ذات صلة مثل اللغة الأم (L1) أو العمر. لقد أدت النماذج القائمة على الـ Transformer، مثل BERT وWhisper، إلى تحسين دقة تقييمات التحدث، ولكن التعامل مع هذه النماذج كصندوق أسود يجعل تحليل العدالة وقابلية التفسير أكثر تعقيدًا.

في إطار توسيع الأبحاث السابقة التي اعتمدت على مفاهيم التفعيل (Concept Activation Vectors - CAVs) للكشف عن التحيزات تجاه خصائص غير مرغوبة، تسلط هذه الدراسة الضوء على تطبيق التحليل القائم على CAVs على نظامين من أنظمة التقييم النمائية: مقياس نصي يعتمد على BERT وآخر متعدد الوسائط يجمع بين الصوت والنص باستخدام Whisper.

تعتبر CAVs تمثيلات مفهومة للبشر يتم تصويرها كاتجاهات في مجال تفعيل النظام، مما يمكن الباحثين من التمييز بين ما إذا كانت المفاهيم مشفرة في تمثيلات النموذج الداخلية وما إذا كانت تؤثر على النتيجة المتوقعة. تم قياس هذا التأثير باستخدام مقياس حساسية قائم على التدرجات.

بما أن CAVs تعتمد على القابلية للفصل الخطي، فإن الاستجابة لها أقل احتمالاً في المساحات المحورية المعقدة. وبالتالي، تبحث هذه الدراسة أيضًا في إمكانية استخدام الأكواد الأوتوماتيكية النادرة (Sparse Autoencoders - SAEs) للحصول على اتجاهات مفاهيم أوضح من خلال تعلم CAVs في مساحة.latent نادرة.

تظهر النتائج أن القدرة على استعادة المفاهيم تعتمد بشكل كبير على التمثيل والهندسة المعمارية التي يتم فحصها، وليس فقط على المفهوم بنفسه. كما أن الحساسية تجاه المفاهيم تعتمد أيضًا على الهندسة المعمارية المستخدمة. بينما تجعل SAEs من المفاهيم أكثر قابلية للاسترجاع الخطي، إلا أنها تقلل من الحساسية الأصلية في المساحات ذات الأبعاد المنخفضة.

تؤكد هذه النتائج على ضرورة التمييز بين إمكانية استرجاع المفاهيم وتأثيرها عند تدقيق التحيز في أنظمة تقييم المحادثة، مما يساهم في تطوير حلول أكثر إنصافًا وشفافية في التقييمات المستقبلية.