تواجه نماذج اللغة الكبيرة (Large Language Models) تحديات كبيرة تتمثل في وجود تحيزات نظامية تؤثر بشكل خاص على بيئات العمل وإدارة الموارد البشرية حيث تؤثر مخرجاتها بشكل متزايد على عمليات التوظيف وتصميم الوظائف والقرارات التنظيمية. ورغم وجود طرق متعددة لتقييم التحيز، إلا أنها تبقى مجزأة مما يحد من قدرة الممارسين على تقييم المخاطر أثناء تنفيذ هذه النماذج.

تكمن أهمية الدراسة في تقديم إطار BiasLab، الذي يمثل نظامًا ثنائي الإطار متعدد اللغات، يهدف إلى قياس وتقييم التحيز في مخرجات نماذج اللغة الكبيرة. يتضمن BiasLab استخدام أزواج من المطالبات المتطابقة بالعكس، وتعديلات عشوائية، وقيود على الردود. تم تقييم عشرة نماذج على ستة مواضيع تتعلق بالعمل (مثل الجنس في القيادة، والفجوات الوظيفية، وعمر المرشحين، والعمل عن بُعد مقابل العمل في المكتب، وأسابيع العمل الأربعة مقابل الخمسة، وتوظيف الذكاء الاصطناعي مقابل التوظيف البشري)، عبر 12 لغة وبـ30 تكرارًا لكل اتجاه من الإطار، مما نتج عنه 43,200 استجابة.

أظهرت النتائج أن جميع النماذج العشرة أظهرت تفضيلات اتجاهية متسقة عبر جميع المواضيع، حيث تكشف الأنماط غير المتماثلة المتكررة أن النماذج ترفض المطالبات غير المفضلة بشكل أقوى مما تؤيد المعاكسة، وهو تمييز غير مرئي في التصاميم الأحادية.

توفر BiasLab أداة معيارية وقابلة للتكرار لقياس التفضيلات الاتجاهية عبر النماذج. يتوقف اعتبار تفضيل ما كتحيز على موضوعه: إذ تتناسب التفضيلات في الصفات المحمية مثل الجنس والعمر مع معايير التوظيف المتساوي، بينما يُفضل وصف البعض الآخر كتفضيل نظامي. يمكّن هذا الإطار المؤسسات من مقارنة وتقييم النماذج قبل اعتمادها في عمليات التوظيف.

ما رأيكم في هذا التطور الجديد في قياس التحيز؟ شاركونا في التعليقات.