في ظل التطور السريع الذي يشهده مجال الذكاء الاصطناعي، باتت نماذج اللغات الضخمة (LLMs) تتخذ إجراءات حاسمة مثل فرز المتقدمين للوظائف، وتوصية القروض، وتوزيع الرعاية الصحية. ومع هذا التقدم، يبرز تساؤل مهم: هل تتمتع هذه النماذج بالعدالة في هذه الإجراءات؟

هنا يأتي دور أداة AgentFairBench، وهي معيار مبتكر وقابل للتكرار يهدف إلى تفحص الفجوات الديموغرافية في تصرفات نماذج اللغات الضخمة (LLMs) عبر عدة مجالات. مستندة إلى إطار Bias Conduction Framework (BCF)، تشمل الأداة ثلاثة مجالات تنظيمية رئيسية: التوظيف، والإقراض، والترياج الطبي.

تقوم الأداة بتقييم مجموعات مطابقة من ملفات تعريف ديموغرافية محايدة، حيث يتم تغيير إشارة السباق والجنس باستخدام أسماء مشفرة فقط. وتُستخدم أربعة أنواع مختلفة من وكالات الذكاء الاصطناعي بزيادة مستوى الوكالة، بدءًا من التصرف المباشر وصولًا إلى تعاونية مع عدة وكلاء.

الأداة أيضًا مزودة بخوارزمية بسيطة تعتمد على NumPy لحساب معدل الانقلاب المضاد، والفرق النسبي للمعدلات المطلقة، والفجوات في معدل الإجراء، وكل ذلك بتكاليف بسيطة تناسب ميزانيات الأبحاث. كما تم إنشاء لوحة قيادة حية تتيح للمستخدمين تقديم نماذجهم الخاصة.

تظهر نتائج التجارب الأولية، التي شملت 864 قرارًا، أن مقارنة الفوارق بين المجموعات يمكن أن تُظهر تحيزات مزيفة. لكن، باستخدام منهجية جديدة تستند إلى الأرقام المتطابقة، تبين أن النموذج Claude Haiku 4 5 لم يظهر أي تأثير ديموغرافي يتجاوز الضجيج العشوائي.

الابتكار هنا لا يقتصر على الأداة نفسها، بل يشمل أيضًا المنهجية المطورة لمطابقة الأرقام، مما يجعلها أداة جاهزة للاستخدام مع معلومات مفتوحة، بيانات، وأكواد متاحة للجمهور.