في دراسة حديثة، تم تسليط الضوء على الفجوات التي تواجه النماذج اللغوية الضخمة (LLMs) خلال مهام الترجمة الآلية (MT). يعتمد أداء هذه النماذج بشكل كبير على توافر البيانات في مجالات معينة وأزواج اللغات التي تم تدريبها عليها. قام الباحثون باستخدام مجموعة بيانات AlphaMWE المتعددة اللغات، وهي مجموعة بيانات متاحة للجمهور، لاختبار مستوى أداء 31 نظامًا مختلفًا من الترجمة.

تضمنت النتائج تقييمات لجميع الأنظمة، حيث تم إجراء اختبارات على ترجمات للجمل من الإنجليزية إلى لغات مختلفة، مثل الصينية (zh)، البولندية (pl)، الألمانية (de)، العربية (ar)، بما في ذلك العربية الفصحى الحديثة (MSA) ولهجتين عربيتين (المصرية والتونسية).

استخدم الباحثون المقاييس التلقائية مثل BLEU وChrF وBERT-score لتحديد أفضل ثلاثة أنظمة لكل زوج لغوي، تلاها تقييمات بشرية على الأنظمة المختارة.

أظهرت النتائج أن هناك العديد من الظواهر المجازية/التعبيرات متعددة الكلمات لا تزال تشكل تحديًا كبيرًا. بالإضافة إلى ذلك، أظهرت المقاييس التلقائية أحيانًا تباينًا في النتائج، بينما كشفت التقييمات البشرية عن أخطاء محددة في اللغة يمكن أن تخفى عن طريق الدرجات الإجمالية. هذه النتائج تجعلنا نتساءل عن فعالية النماذج اللغوية الضخمة وقدرتها على معالجة اللغات بشكل دقيق. هل تعتقد أن هناك حاجة لتحسينات إضافية في أنظمة الترجمة؟ شاركونا آرائكم في التعليقات!