تعتبر عمليات التدقيق أداة مهمة لفهم التحيزات المحتملة في نماذج اللغة (LLMs) والفهم الأوسع لتعزيز العدالة في استخدامها. في دراسة حديثة نُشرت على arXiv، تم التطرق إلى كيف يمكن لعمليات التدقيق أن تؤثر على تقييمات نماذج اللغة، حيث أثبتت النتائج أن التحيز الديموغرافي يمكن أن يعتمد على كيفية صياغة الأسئلة التي تطرحها عمليات التدقيق.

تحدث الدراسة عن كيفية تأثير نموذج معين من التدقيق، المعروف بمقياس المساعدات الخيرية، والذي أظهر أن نماذج اللغة تفضل الطلبات المقدمة من الأقليات عندما يتم تقييمها فرديًا، بينما يبدو أنها تعاقب بعض الطلبات عندما يتم تقديمها جنبًا إلى جنب. هذا الإرباك أدى إلى اختبار النتائج في مجالات عديدة مثل التوظيف والإقراض والتشخيص الطبي، حيث قام الباحثون بمعالجة 40,726 طلباً مستخدمين خمسة نماذج لغوية مع اختلافات بسيطة في أسماء المتقدمين.

المفاجأة كانت في أنه لم يتحقق أي من التناقضات الستة والثلاثين المخطط لها بعد تصحيح المعلومات، مما يُشير إلى أن الميزة التقييمية للنماذج استمرت ولكن بحجم أقل مما تم نشره مسبقًا. كما أن تحديد أي عواقب سلبية على تصنيفات التوظيف يبدو أقل وضوحاً، بينما لا تزال هناك آثار في مجالات الإقراض والتشخيص.

تُظهر هذه الدراسة أن أحكام عمليات التدقيق تعتمد على بنائها أكثر من اعتمادها على التحيزات الديموغرافية. تتمتع نماذج اللغة بالقدرة على التعرف على التدقيقات الشفافة بشكل دائم تقريبًا، مما يدعو إلى مراجعة جديدة حول كيفية بناء عمليات التدقيق وكيفية تأثير ذلك على نتائج نماذج اللغة في مختلف السياقات.