يواجه التعرف التلقائي على الأصوات (Phoneme Recognition) تحديات كبيرة عندما يتعلق الأمر بالأصوات غير القياسية، مثل تلك الناتجة عن المشاكل المرضية. يأتي ذلك بسبب الانحرافات النظامية عن النطق القياسي وعدم توفر بيانات سريرية موصوفة بشكل كافٍ. غالبًا ما يتم تدريب أنظمة التعرف على الأصوات على النطق القياسي، مما يحد من القدرة على كشف الأخطاء النطقية الهيكلية الشائعة في الاضطرابات الصوتية واللكنات المختلفة.

في عملنا هذا، نقدم نهجًا لغويًا هيكليًا للتعرف على الأصوات غير القياسية يهدف إلى تفكيك عملية توقع الأصوات إلى أبعاد ميزات نطقية، مثل الأسلوب، والمكان، والصوت. يتم تنفيذ هذا المفهوم باستخدام هيكل تعلم متعدد المهام (Multi-Task Learning) حيث تتعلم رؤوس الميزات الخاصة بالمهام التمثيلات على مستوى الميزات، والتي يتم دمجها لاحقًا من خلال وحدة دمج قائمة على انتباه العابر (Cross-Attention).

لمعالجة نقص البيانات الضوئية لأصوات المرضى وضجيجها، قمنا بدمج هذا الإطار مع التعلم شبه المراقب (Semi-Supervised Learning) عبر استخدام تLabeling الزائف بالتدريج (Momentum Pseudo-Labeling). كما اقترحنا استراتيجية تدريب متدرجة تقوم بتقديم مهام ميزات نطقية بشكل متزايد، مع تنفيذ عملية إلغاء تجميد مراحلي لمشفّر الصوت المدرب مسبقًا.

أظهرت التجارب على مجموعة بيانات L2-ARCTIC، التي تستخدم كنموذج لالتباين اللغوي المرضي، أن النتيجة الناتجة عن نهجنا المقترح حققت تحسينات ملحوظة في أداء التعرف على الأصوات مقارنةً بهياكل أساسية قوية. علاوة على ذلك، وضعت الأنماط الخطأ المفهومة بشكل جيد في توافق مع الهيكل المميز الصوتي.

تُشير هذه النتائج إلى أن الإشراف الناتج عن ميزات النطق هو استراتيجية واعدة لتحسين التعرف على الأصوات بشكل متين وبصورة موجزة، وتدعو إلى مزيد من التح validations على مجموعات بيانات خاصة بالأصوات المرضية المشخصة سريريًا. كيف تتوقع أن تؤثر هذه النتائج على مستقبل التعرف على الأصوات في التطبيقات السريرية؟ شاركونا آراءكم!