في عالم الذكاء الاصطناعي، تُعتبر نماذج التوحيد اللغوي (Lexical Normalization) أداة أساسية لتحويل الكلمات غير القياسية والمليئة بالأخطاء، مثل "tmrw" و"u" و"gr8"، إلى صيغتها الصحيحة. لكن، ماذا لو كان التدريب على العديد من اللغات في نفس الوقت له تأثير عكسي؟

تسليط الضوء على هذه القضية، قامت دراسة جديدة بتحقيق في فعالية تدريب نموذج واحد على لغات متعددة، حيث استخدم الباحثون نموذجاً على مستوى الحرف واثني عشر لغة من معيار قياسي. تم تغيير عدد اللغات المدربة معاً من واحدة إلى اثني عشر لغة، وتم قياس الدقة لكل لغة على حدة.

وأظهرت النتائج وجود ما يُعرف بـ "لعنة التعدد اللغوي"، حيث كانت الدقة أعلى عندما يتم تدريب لغة واحدة مع بعضها البعض، وتحقيق أقصى دقة عند استخدام من لغة إلى أربع لغات فقط. ومع ارتفاع عدد اللغات المشتركة، انخفضت الدقة بشكل ملحوظ، بمقدار حوالي أربعين في المئة عندما تم دمج المزيد من اللغات.

أجرى الباحثون أيضاً اختباراً للتحقق مما إذا كانت المسافة النوعية بين اللغات تتنبأ بعدد اللغات المثالية للتدريب المشترك، ولكن لم تثبت أي قاعدة ثابتة في هذا الصدد، مما يشير إلى أن المواكبة بين اللغات تتطلب النظر بعناية في عددها.

لذلك، تشير النتائج إلى أن استخدام عدد أقل من اللغات قد يكون أكثر فائدة من دمج كل شيء في نموذج واحد ضخم. إذاً، هل نحن مستعدون لتعديلات جديدة على كيفية تدريب نماذج الذكاء الاصطناعي؟
أخبرونا برأيكم في التعليقات.