في عالم التكنولوجيا الطبية المتطورة، يبرز التعرف على الصوت الطبي (MedASR) كأداة حيوية تحتاج إلى التكيف مع مصطلحات متخصصة والبيانات السريرية المحدودة، بالإضافة إلى الاستخدامات المتعددة اللغات. على الرغم من أن نماذج التعرف على الصوت المدربة مسبقاً مثل Whisper حققت نجاحًا ملحوظًا في عموميتها، إلا أن سلوكها بعد التكيف الطبي ومتعدد اللغات لا يزال غير مفهوم بشكل كافٍ.

تتناول هذه الدراسة كيفية تأثير التكيف متعدد اللغات على إعادة تشكيل التمثيلات الداخلية لنماذج Whisper من خلال تحليل الطبقات. إذ يتم مقارنة الأساليب المختلفة مثل التشفير صفر-إطلاق، والتدريب الدقيق باللغة الإنجليزية فقط، والتدريب الدقيق التشخيصي بالألمانية، واستمرار التكيف من الإنجليزية إلى الإنجليزية والألمانية، والتدريب المباشر بالإنجليزية والألمانية عبر أحجام نماذج Whisper المختلفة.

أظهرت النتائج أن التدريب الدقيق يعزز بشكل كبير أداء التعرف على الصوت الطبي، لكن أفضل نموذج يعتمد على إعداد التكيف المستخدم. حيث حقق نموذج Whisper-Medium أدنى معدل خطأ في الكلمات باللغة الإنجليزية (7.72%) وكذلك أدنى معدل خطأ مشترك باللغة الإنجليزية والألمانية تحت التدريب المباشر (26.30%). بينما نموذج Whisper-Large-v3 باللغة الألمانية حقق أدنى معدل خطأ في الكلمات باللغة الألمانية (44.96%)، ومع ذلك، كان ذلك استناداً إلى تحليل داخلي لمجموعة بيانات تحتوي على 86 عبارة تدريبية لمتحدث واحد.

كما أظهر التحليل الطبقي لسيرورة نموذج Whisper-Small في المرحلة الثانية أن التدريب الطبي باللغة الإنجليزية ينتج عنه تحوّل بارز في التشفير، بينما يظل التكيف متعدد اللغات محافظًا على مساحة التمثيل المعدلة. تبقى المعلومات المتعلقة بالنطاق واللغة قابلة للاسترداد بشكل كبير عبر الطبقات، بينما تضعف إشارات التنبؤ بالخطأ القابلة للاسترداد خطيًا مع تحسن معدل الخطأ في الكلمات.