تعد عملية تقدير جودة الترجمة (Quality Estimation - QE) من أبرز المجالات التي تهم الباحثين في مجال الذكاء الاصطناعي، حيث تهدف إلى تقييم جودة الترجمة الآلية دون الحاجة إلى ترجمات مرجعية. ومع ذلك، كشفت الدراسات الحديثة عن معضلة مهمة: وجود تحيز جنسي ممنهج في النماذج الحالية لتقدير الجودة.

فالأنظمة الحالية تميل إلى تفضيل التعبيرات الذكورية في السياقات الغامضة من الناحية الجنسية، بل وتمنح درجات أعلى لترجمات غير متوافقة جنسيًا حتى وإن تم تحديد الجنس بشكل صريح. وللتغلب على هذه التحديات، تم اقتراح إطار العمل FairQE، الذي يستخدم نهجًا قائمًا على الوكلاء المتعددين والذي يراعي العدالة في تقدير الجودة.

يتضمن FairQE تقنية للكشف عن مؤشرات الجنس، ويولد نسخًا بديلة من الترجمات تعتمد على تحوير الجنس، ويجمع بين درجات تقدير الجودة التقليدية واستدلالات قائمة على نماذج اللغات الضخمة (Large Language Models) عبر آلية تجميع ديناميكية تدرك التحيزات.

تساعد هذه التصميمات في الحفاظ على نقاط القوة في نماذج تقدير الجودة الحالية، بينما تقوم بمعايرة التحيزات الجنسية بشكل مرن وسهل التطبيق. وقد أظهرت التجارب الواسعة في مواقع تقييم التحيز الجنسي أن FairQE يحسن بشكل مستمر من العدالة الجنسية مقارنةً بالنماذج التقليدية القوية. وعلاوة على ذلك، بموجب التقييم القائم على MQM والذي تم اتباعه في مهمة قياس مؤشرات WMT 2023، أثبت FairQE أداءً تنافسيًا أو محسّنًا في تقدير الجودة العام.

تعكس هذه النتائج إمكانية تخفيف التحيز الجنسي في تقدير الجودة دون المساس بدقة التقديرات، ما يمهد الطريق نحو تقييمات ترجمة أكثر عدلاً وموثوقية.