تحليل فريد لتقييم دقة الإشارة المرجعية باستخدام سُمّيات صريحة

تعتبر عملية دقة الإشارة المرجعية (Coreference Resolution) واحدة من المهام الحيوية في معالجة اللغة الطبيعية (Natural Language Processing)، ولكنّ التقييم التقليدي لهذه العمليات يعتمد غالباً على مقاييس إحصائية مجمعة مثل CoNLL-F1. وعلى الرغم من انتشار استخدامها، إلا أن هذه المقاييس تقدم رؤى محدودة، حيث تركز فقط على الأخطاء دون توضيح المواضيع التي قد تكون النماذج ضعيفة فيها، كالأشخاص أو الأماكن أو الأحداث.

لمعالجة هذه الثغرات، أقدم الباحثون إطاراً تقييمياً معززاً دلالياً يهدف إلى تحسين دقة الإشارة المرجعية. حيث يعتمد هذا النظام على الطبقات المفهومية وتقنية التعرف على الكيانات المسماة (Concept and Named Entity Recognition - CNER) ليتمكن من وضع تسميات دلالية على الإشارات ضمن النصوص، ومن ثم توزيعها على كامل مجموعات الإشارات المرجعية.

هذا النهج يتيح حساب درجات محددة تهدف إلى تقييم قدرات استخراج النصوص وربطها بشكل مصنف حسب فئات دلالية معينة. ومن خلال التجارب التي أُجريت على مجموعات بيانات مثل OntoNotes وLitBank وPreCo، أظهر هذا الإطار فاعلية في الكشف عن الضعف المنهجي الذي يبقى مخفيًا تحت المقاييس المجمعة.

علاوة على ذلك، تم إثبات إمكانية استخدام هذه التشخيصات لتصميم استراتيجيات توسع بيانات مستهدفة ومنخفضة التكلفة، مما أدى إلى تحسينات ملحوظة خارج نطاق البيانات المستخدمة.