مع تزايد استخدام أنظمة الذكاء الاصطناعي (AI) وتطورها لتصبح وكيلًا قادرًا على التكيف والتعلم المستمر، يتطلب الحفاظ على موثوقيتها مزيدًا من الابتكار. يمكن القول إن أحد أهم التحديات في هذا المجال هو "المعايرة المستمرة"، وهي الحاجة إلى تقدير الثقة (confidence estimator) الذي يعكس بشكل حقيقي المعرفة التي تحتوي عليها النماذج مع تغير تلك المعرفة، دون الحاجة إلى إشراف متكرر.

وفي إطار هذا البحث الجديد، تم شرح المشكلة التي تتعلق بالمعايرة المستمرة ودورها المهم في ضمان أن يظل الذكاء الاصطناعي موثوقًا، حيث تم فحص فعالية التقديرات المعتمدة على المعرفة عبر نقاط التحقق المختلفة للنماذج المفتوحة. السؤال المطروح هنا هو: هل يمكن أن تعمم تقديرات الثقة المدربة على نقاط تحقق سابقة إلى نقاط تحقق لاحقة؟

لتقييم العلاقة بين الثقة والمعرفة، تم تعريف مجموعة من "مجموعات تباين المعرفة"، التي تتكون من أسئلة يمكن لنقطة تحقق واحدة الإجابة عنها بشكل صحيح بينما تفشل نقطة تحقق أخرى في ذلك. وقد أظهرت النتائج أن طرق الاستدلال (inference-time) وطرق تحسين الأداء (fine-tuning) لم تكن كافية في تلبية المعايير المطلوبة لمجموعات تباين المعرفة مقارنةً بالطرق المثالية المدربة على نقاط تحقق مستقبلية.

قدمت هذه الدراسة دليلًا على أن تحدي المعايرة المستمرة يمثل مشكلة معقدة، حيث أن هناك مساحة شاسعة من وظائف الثقة المحتملة التي يمكن أن تُعتبر جيدة في نقطة تحقق معينة، ولكن ليست جميعها تعتمد على ميزات المعرفة الميتا (meta-knowledge) التي قد تتوسع لتشمل نقاط تحقق أخرى. ومع ذلك، قدمت النتائج أيضًا أملًا جديدًا، حيث أظهرت أن التدريب عبر نقاط تحقق متعددة يمكن أن يسهم في تحسين المعايرة، ما يشير إلى إمكانية تحديد ميزات الثقة التي تظل قوية عبر تغير المعرفة.