كيف تعكس نماذج اللغة تحيزات مهنية خفية؟ تحليل آلي مثير للاهتمام!

تتقدم نماذج اللغة (Language Models - LMs) في تقييم التحيزات السلوكية، ولكن السؤال الكبير الذي يثار هو: هل لا تزال هذه النماذج تمثل الارتباطات الأساسية التي تؤدي إلى التحيزات، أم أنها ببساطة تعلمت كيف لا تعبر عنها؟ في دراسة حديثة، تم تسليط الضوء على إمكانية الكشف عن التحيزات التمثيلية، حتى عند عدم ظهور تحيزات سلوكية.

تقدم تلك الدراسة إطارًا سببيًا يُفصِل التحيز المهني إلى نقطتين للقياس؛ تمثيل النموذج الداخلي لكفاءة المستخدم، ونتائجه الملحوظة. قمنا المشتغلون بالبحث بتطوير متجهات توجيهية تمثل خبرة المستخدم، والتحقق من أنها تؤثر بشكل سببي على سلوك النموذج في مهام متعددة مثل الإجابة عن الأسئلة ومهام التوظيف.

عند تطبيق هذا الإطار على عدة نماذج ذات وزن مفتوح، وجدنا أن العوامل الديموغرافية، مثل الجنس والعرق والوضع الاجتماعي الاقتصادي، تؤثر على تمثيل النموذج لخبرة المستخدم، حتى في الحالات التي لا تكشف فيها مقاييس السلوك عن أي تباين بين الفئات.

تظهر النتائج أن هذه التمثيلات النموذجية يمكن أن تؤثر على السلوك المرتبط بها في حالات التدخل، مما يشير إلى أن هناك طرق فشل قد لا تكشف عنها المقاييس السلوكية بمفردها. هذا الاكتشاف يدعونا إلى إعادة النظر في كيفية تقييمنا للتكنولوجيا وفهم التحيزات المنسية فيها.