تاريخيًا، كان تقييم تصحيح الأخطاء النحوية (Grammatical Error Correction - GEC) يعتمد بشكل كبير على المرجعيات أو التداخل في التعديلات، مما قد يعاقب على إعادة الكتابة الصحيحة التي تختلف عن التصحيحات المثالية. ومع ظهور مقاييس خالية من المراجع، يبقى التحدي في تقييم ما إذا كانت النتائج السلسة هي تصحيحات صحيحة للمصادر المعطاة.

في هذا السياق، تم اقتراح نموذج جديد يُسمى SURE، وهو مُقيِّم يعتمد على المكافآت تم تدريبه وفق تفضيلات داخل المصدر ويغطي البدائل ذات التعديلات البسيطة وتصحيحات إعادة الكتابة. يقوم SURE بتعلم مكافأة شاملة بالتوازي مع إشراف مستوي على المعايير مثل القواعد اللغوية والإخلاص والسلاسة، إلى جانب تحسين مستوى الأخطاء من الجانب المصدر.

أظهرت التجارب التي أجريت على SEEDA أن SURE يتمتع بأداء تنافسي مقارنة بالخطوط الأساسية القوية، مع تحقيق مكاسب ملحوظة في تصحيحات أنماط إعادة الكتابة وتشخيصات أكثر تفصيلًا على مستوى المعايير. يمكنكم الاطلاع على الكود الخاص به عبر GitHub.

هذه الطريقة الجديدة تُعد نقطة تحول في كيفية تقييم تصحيح الأخطاء النحوية وتفتح آفاقًا واسعة لتحسين دقة النماذج اللغوية المعتمدة على الذكاء الاصطناعي.