في عالم تقنية الذكاء الاصطناعي، يُعتبر مؤشر BLEU-4 هو المعيار القياسي لتقييم ترجمة لغة الإشارة (Sign Language Translation - SLT). ولكن، هل يمكن أن تعكس المعايير المستخدمة فعلاً كفاءة ترجمة لغة الإشارة؟ يشير بحث حديث إلى أن المقاييس المخصصة للغات المحكية قد لا تفي بالغرض.

تتناول الدراسة الجديدة التي نُشرت على منصة arXiv، التقنيات متعددة الوسائط والسياقات المنخفضة الموارد المستخدمة في ترجمة لغة الإشارة. تكشف النتائج أن النماذج المعتمدة قد تستفيد من الارتباطات العرضية والمبادئ المسبقة للغات المحكية بدلاً من تعلم تمثيلات قوية وصحيحة للغة الإشارة.

لقد تم تقييم العلاقة بين الفهم المكاني الزمني ومؤشر BLEU-4 عبر ستة نماذج من SLT على مجموعتي بيانات Phoenix-2014T وCSL-Daily. وأظهرت النتائج أن التحسينات في درجات BLEU-4 لا تعكس بالضرورة فهمًا أفضل للغة الإشارة.

تقدم هذه الدراسة بديلاً مستلهمًا من تقييم تعلم اللغات، من خلال استخدام بروتوكول Q&A المفتوح (open-weight LLM QA) الذي يقيس الحفاظ على المحتوى الواضح. ويتميز هذا البروتوكول بكونه أكثر توافقاً مع تقييمات البشر، ويظهر مقاومة أكبر لأوجه التشابه الكلامية، مما يجعله من 6 إلى 7 مرات أكثر استقرارًا من مؤشر BLEU-4.

تقدم هذه النتائج صورة مختلفة تمامًا للميدان، حيث أن الأنظمة الخالية من التوضيحات (gloss-free systems) تقارب في أدائها على Phoenix-2014T، بينما يتفوق النظام المدعوم بالتوضيحات (gloss-supervised system) بفارق 9.3 نقاط، وهو ما لم يكن مرئيًا بمؤشر BLEU-4.

بالتالي، قد نكون أمام نقطة تحول مهمة في كيفية قياس كفاءة النماذج المستخدمة في ترجمة لغة الإشارة. ما رأيكم في هذا الابتكار؟ هل تتوقعون أن تساهم هذه المعايير الجديدة في تحسين جودة الترجمة؟ شاركونا في التعليقات!