كشف النقاب عن التحيز المجتمعي في الأكواد المُنشأة بواسطة نماذج الذكاء الاصطناعي: دراسة شاملة وحلول مبتكرة

في زمن تتزايد فيه استخدامات نماذج اللغة الكبيرة (Large Language Models) في توليد الأكواد لتطبيقات موجهة نحو الإنسان، أصبح من الضروري ألا نغفل جانب العدالة الاجتماعية. فقد أظهرت الأبحاث الحديثة أن التقييمات الحالية تركز بشكل شبه حصري على دقة الأداء الوظيفي، مما يترك التحيزات الاجتماعية في الأكواد المُنتَجة موضعاً غير مُفحص.

تعتمد الدراسة الحالية على العمل السابق في مشروع Solar، حيث أجرينا دراسة تجريبية شاملة باستخدام معيار SocialBias-Bench، الذي يتضمن 343 مهمة برمجة حقيقية تغطي سبعة أبعاد ديموغرافية. وشملت نتائج تقييم أربعة نماذج بارزة من نماذج اللغة الكبيرة وانكشفت تحيزات خطيرة في كل نموذج، حيث بلغت درجات انحياز الأكواد 60.58%.

كما تبين أن التدخلات التقليدية على مستوى التعليمات، مثل طريقة التفكير المتسلسل (Chain-of-Thought reasoning) وإسناد شخصيات العدالة، قد تُعزز في الواقع من التحيز بدلاً من تقليله. وعند استكشاف ما إذا كانت الأطر الهيكلية لعمليات البرمجيات المتعددة الوكلاء يمكن أن تحسن من العدالة، وجدنا أن خطوط العمل المنظمة تقلل من التحيز عندما يتم تحديد الأدوار بشكل صحيح.

لكن، من الملاحظ أن إضافة تعليمات واضحة للعدالة إلى جميع الأدوار لم تؤدِ إلى نتائج أفضل، بل كانت النتائج أسوأ مما إذا لم يتم توفير أي تعليمات، مما يشير إلى أن توزيع المسؤولية لا يتم التعامل معه بشكل صحيح.

لمعالجة هذه القيود، اقترحنا وكالة مراقبة العدالة (Fairness Monitor Agent - FMA)، وهي مكون مرن يمكن دمجه في أي خط إنتاج أكواد قائم دون الحاجة لتعديله. تقوم FMA بتحليل وصف المهمة لتحديد السمات التي يجب أن تؤخذ بعين الاعتبار أو يتم تقييدها، ثم تكشف عن الانتهاكات وتصححها من خلال عملية مراجعة دورية، دون الحاجة إلى مجموعة اختبارات قابلة للتنفيذ.

تم تقييم FMA على جميع المهام الـ343، حيث قللت من التحيز بنسبة 65.1% مقارنةً بوكلاء المطورين وحدهم، كما حسنت من دقة الأداء من 75.80% إلى 83.97%، متجاوزة جميع الأساليب الأخرى التي تم دراستها.