تحطيم التوازن بين الجودة والفهم في استخراج المتحدث المستهدف عبر تحسين تفضيلات مدعمة بالميزات العميقة

في عالم نماذج البث، يعتبر استخراج المتحدث المستهدف (Target Speaker Extraction - TSE) من التحديات الكبيرة، حيث غالباً ما تبرز مشكلة التوازن بين الجودة الصوتية والفهم. يعتمد تحقيق جودة الصوت الأفضل بشكل متزايد على استخدام نماذج توليدية، ولكن هناك عيوب معينة في هذا النهج.

تكشف الأبحاث الأخيرة أن هذا التحدي لا يتعلق ببساطة بعوائق المعمارية المستخدمة في البث، بل بالاختيار غير الدقيق لنموذج التحسين. إن تحسين جودة الصوت من خلال معايير الصوت يؤدي إلى نتائج كارثية، حيث يتم حذف المحتوى الحيوي الذي يؤثر على وضوح النطق.

لحل هذه المعضلة، قدم الباحثون تحسينين متكاملين: الأول هو استخدام أنوية تحويل متزايدة (Conformer convolution kernel) لتحليل المكانيات الزمنية بشكل أكثر ثراءً. أما الثاني، وهو الأكثر ثورية، فهو استراتيجية تحسين مباشرة للتفضيلات (Direct Preference Optimization - DPO) تعتمد على WavLM، الذي يمثل تقنية عميقة لتمثيل الخصائص الصوتية.

باستخدام WavLM، تم تصنيف أزواج التفضيل بناءً على تشابه كوني (cosine similarity)، مما يوفر نقطة انطلاق للتحسين تحمي النظام من التلاعبات.

من خلال استخدام طريقة جديدة تحت حجم كتلة البث 560 مللي ثانية، أظهرت النتائج تحسناً نسبياً في وضوح الكلام بنسبة 10.9%، حيث انخفض معدل الأخطاء في الكلمات من 0.138 إلى 0.123، مع تحسينات طفيفة في جودة الصوت والتشابه بين المتحدثين. مما يعني أن هذه الاستراتيجيات الجديدة ليس فقط تحسن من الفهم، ولكن تعزز أيضاً من تجربة الاستماع بشكل عام.