في عالم الذكاء الاصطناعي المتنامي، تُستخدم نماذج اللغة الكبيرة (LLMs) بشكل متزايد كقضاة لتوقع أي من الإجابات المقدمة من قبل المرشحين يفضلها المحلل البشري. ولكن، بنفس القدر من الأهمية، ظهر تحذير بشأن وجود تحيزات منهجية في أحكام هذه النماذج. تشير الدراسات السابقة إلى أن قرارات النموذج يمكن أن تتأثر بعوامل مثل الموقع، والطول، أو نوع النموذج، بدلاً من الجودة الحقيقية للإجابات.

هنا يأتي دور إطار العمل الجديد CaLLM، الذي يسعى إلى معالجة هذه القضايا من خلال نهج يسمى $ extit{متعددة المعايرة}$ (Multicalibration). هذه الطريقة تعتبر حلاً فطريًا لتخفيف التحيزات، حيث يتمتع كل تحيز بخصائص معينة تدل على عدم التطابق بالنسبة لمجموعة محددة. على سبيل المثال، التحيز العائلي يظهر كزيادة الثقة في الإجابات التي تولدها نماذج تنتمي إلى نفس عائلة النموذج القاضي.

التحدي الرئيسي هو إصلاح عدم التطابق بشكل متزامن بين مجموعات عديدة، قد تكون غير معروفة. لذلك، يقدّم CaLLM كإطار عمل جديد يقوم بتعدد المعايرة لنموذج LLM، مما يحد بشكل متزامن من جميع هذه التحيزات. وقد أثبتت الأبحاث أن CaLLM يحد من التحيز لكل مجموعة يتم التقاط هيكل خطأها بواسطة تمثيل متاح، كما أن تعزيز الإطار بمجموعات تحيز صريحة يقلل من التحيز المتبقي.

وبالإضافة إلى ذلك، تم قياس دقة CaLLM في السلوكيات التفضيلية المزدوجة، حيث أظهر أن الإطار لا يحسن خطأ المعايرة المتعددة فقط، بل أيضًا يُعزز الأداء التنبؤي للنموذج. هذا الابتكار يمثل خطوة رائدة نحو تحقيق تقييمات أكثر دقة وموضوعية في الذكاء الاصطناعي، وقد يفتح آفاقًا جديدة في كيفية تعاملنا مع هذه التكنولوجيا المتقدمة.