تعتبر المعايرة (Calibration) عنصرًا حيويًا في تقديم قرارات موثوقة، حيث تعني مواءمة الاحتمالات المتوقعة مع الترددات الحقيقية للنتائج. وقد تم تطوير هذا المفهوم بشكل موسع في مجالات التصنيف والانحدار، إلا أنه لم يتم تناوله بشكل رسمي في سياق ترتيب العلامات الاحتمالية. الهدف هنا هو التنبؤ بتوزيع حول ترتيب مجموعة من العلامات.

إن التعامل السطحي مع الترتيبات كفئات غذّ في السابق التشويش على الهيكل الأساسي لهذه الترتيبات، مما أدى إلى إغفال مفاهيم هامة مثل التنبؤات الزوجية و Top-k. في هذه الدراسة، نقوم بتحديد وتطوير مفاهيم المعايرة الخاصة بترتيب العلامات من خلال إنشاء تسلسل هرمي يغطي الترتيبات الكاملة، الترتيبات الفرعية، وستراتيجيات Top-k.

من خلال إثبات أن المعايرة في الترتيبات الكاملة تتضمن البقية، لكن ليس بالعكس، نكتشف أن المعايرات الفرعية وTop-k لا يمكن مقارنتها بشكل مباشر. علاوة على ذلك، كشفت النتائج التجريبية أن العديد من نماذج ترتيب العلامات الشهيرة تعاني من سوء المعايرة، مما يُظهر اختلافات كبيرة بين مقاييس الترتيب الفرعي وTop-k.

عند تطبيق إطاريتنا على نماذج مكافآت RLHF، وجدنا أن المعايرة ترتبط بقوة، وإن لم تكن بشكل مثالي، مع دقة المراجع، مما يشير إلى أنها تمثل بعدًا مهمًا للجودة يتجاوز الدقة الأعلى.

تُعد هذه النتائج محفزًا لأعمال مستقبلية تستهدف فهم آثار عدم المعايرة وابتكار طرق فعالة لتصحيح تلك العيوب.