في زمن تتجه فيه التقنية نحو المزيد من الابتكار، تبرز أهمية نماذج اللغة الكبيرة (Large Language Models - LLMs) كأدوات قوية تتجاوز مجرد معالجة النصوص. من أحدث هذه التطورات هو دمج الكلام كنمط أصلي، وهو ما أدى إلى ظهور نماذج SpeechLLMs التي تعالج اللغة المنطوقة بصورة مباشرة وتمكن من عمليات الترجمة من الصوت إلى نص (Speech-to-Text Translation - ST) وغيرها من المهام المتخصصة، متجاوزةً بذلك الأطر التقليدية القائمة على النسخ.

لكن، تبقى هناك تساؤلات حول فعالية هذه النماذج الجديدة مقارنةً بالأنظمة التقليدية. يُعتبر "Hearing to Translate" أول اختبار شامل يقيس أداء 6 نماذج SpeechLLMs حديثة مقابل 16 نظامًا قويًا، يجمع بين نماذج الصوت الرائدة ونماذج اللغة متعددة اللغات. تمتد هذه الدراسة عبر 16 معيارًا مختلفًا، و13 زوجًا من اللغات، و9 ظروف صعبة، بما في ذلك الخطاب المزعج، والصوتي، والخطابات الطويلة.

من خلال هذه التقييمات الواسعة، وُجد أن أنظمة النسخ المتسلسلة لا تزال الحل الأكثر موثوقية بشكل عام، لكن معظم نماذج SpeechLLMs الحديثة يمكن أن تلبي أو حتى تتفوق على أداء الأنظمة المتسلسلة في إعدادات معينة. في المقابل، تظل نماذج الصوت التقليدية متخلفة عن الاثنين. مما يعكس أن دمج نموذج اللغة الكبيرة في التصميم أو كجزء من الأنبوب هو أمر حاسم لضمان جودة عالية في الترجمة الصوتية. هذا التطور يمنح الباحثين والمطورين آفاقًا جديدة ليؤسسوها في عالم الترجمة بطرق مبتكرة وغير مسبوقة.