في إطار تقييم نماذج اللغات (Language Models) خلال الامتحانات الإنسانية، تعتمد معايير القياس في العادة على تصنيف كل إجابة على أنها صحيحة أو خاطئة. هذه المقاربة تفترض أن المعرفة الجزئية تستحق تقديرًا نسبيًا، إلا أن ذلك يفشل عندما تستخدم الامتحانات نظام تقييم غير إضافي. تكشف الإصلاحات الجديدة لنظام امتحانات الثانوية العامة في فيتنام 2025 عن تكلفة هذا الاستبدال.

في الجزء الثاني من الامتحان، يتعين على المتقدمين تقييم أربع عبارات حقيقية أو خاطئة لكل سؤال. يتم التقييم بنظام محدب: حيث يمنح عدد العبارات الصحيحة درجات تتراوح ما بين 0 إلى 1.00 نقطة. هذا النظام يعني أن التعرف على ثلاث عبارات صحيحة يمنح 0.50 نقطة، وليس 0.75 نقطة كما قد تشير معايير الدقة التقليدية.

نظرًا لأن الجزء الثاني يمثل أربع نقاط من أصل عشر نقاط في الامتحان، فإن الإبلاغ عن الدقة قد يضخم الدرجة عن طريق مكافأة المعرفة الجزئية التي تعاقب عليها الدولة بوضوح. نقدم في هذا السياق معيار THPT-Ladder، الذي يتضمن 632 عنصرًا مستخرجًا من 21 امتحانًا رسميًا عبر 11 مادة دراسية، مما يتيح تقييم الطلاب كما تقوم الوزارة بتقييمهم.

تُنشر درجات أكثر من مليون متقدم، مما يسمح لنا بوضع النماذج مباشرة ضمن جماعة الطلاب البشرية. يظهر البحث أنه عبر ثمانية نماذج، تدفع المعايير الرسمية نحو 0.020 إلى 0.159 نقطة أقل لكل سؤال في الجزء الثاني مما تستحقه الدرجات النسبية. يعكس هذا النقص في النقاط تغيرًا في كفاءة النموذج.

على سبيل المثال، النموذج Qwen3.5-27B في امتحان التاريخ لعام 2025، يشهد نقصًا قدره 0.042 نقطة يؤدي إلى انخفاض ترتيبه من المئوية التسعين إلى السبع والسبعين بين 481,293 متقدم. ما يثير القلق هو أن دقة النموذج لا تتنبأ بالضرورة بهذا النوع من العقوبة، حيث تتيح مستويات دقة مختلفة لمقياس Claude Sonnet 5 نقاطًا متفاوتة تتراوح من 0.869 إلى 0.932 نقطة لكل سؤال.

يعتمد تقدير الدرجات الرسمية على كيفية توزيع العبارات الصحيحة، مما يعني أن المعايير التقليدية قد تبلّغ عن كفاءة لا تُعتمد عليها المؤسسات التعليمية.