تتزايد اعتماد نماذج اللغات الضخمة (LLMs) في توزيع الموارد النادرة، مما يثير التساؤلات حول التوزيعات المنحازة بناءً على خصائص مثل العرق والجنس. تكشف مراجعات هذه النماذج عن نتائج متباينة، حيث تم العثور على دلائل على تمييز إيجابي وسلبي تجاه النساء والأقليات العرقية، حتى لنفس النماذج.

لقد أظهرنا أن هذا الاختلاف يمكن أن ينشأ من تنسيقات المراجعة المختلفة. نقدم لكم أداة FairFund-Bench، وهي معيار يحقق بشكل منهجي في الميزات الأساسية لتصميمات المراجعات السابقة. يتضمن المعيار 600 طلب للمساعدات المالية تم إنشاؤها استنادًا إلى قوالب مكتوبة من قبل البشر، والمعايرة ضد 1.3 مليون حملة GoFundMe حقيقية.

تشمل المراجعة أربعة معايير لتقييم النماذج: انحياز ديموغرافي، توافق معايير الجدارة، اتساق عبر المهام، واتساق عبر السياقات. ومن المثير للدهشة أن تغيرات تنسيق المراجعة تؤثر على اتجاه الانحياز: حيث تعطي النماذج الأولوية للأقليات عند تقييم المطالبات بشكل فردي، ولكنها تعاقب بعض المجموعات عندما تتعامل معها جنباً إلى جنب.

علاوة على ذلك، فإن آثار تنسيق الجدارة تتجاوز التأثيرات الديموغرافية بشكل ملحوظ، مما يشير إلى أن نماذج اللغات الضخمة تعمل بشكل موثوق على إعادة إنتاج تقييمات الجدارة البشرية. يمكن الوصول إلى أدوات FairFund-Bench للجمهور، مما يجعلها متاحة للاستخدام في مجالات أخرى أيضًا.