تدخل تقنيات تحسين الكلام السمعي البصري (Audio-Visual Speech Enhancement - AVSE) مرحلة جديدة من التطور عبر استخدام الذكاء الاصطناعي، ولا سيما من خلال تطبيق نموذج التعلم المعزز الذي يعتمد على نموذج لغوي ضخم (Large Language Model - LLM). في الأساليب التقليدية، يتم استخدام مقاييس مثل نسبة الإشارة إلى الضوضاء (Scale-Invariant Signal-to-Noise Ratio - SI-SNR) ومربع متوسط الخطأ (Mean Squared Error - MSE) لتقييم جودة الصوت. إلا أن هذه المقاييس غالباً ما تفتقر إلى الارتباط القوي بجودة الكلام المدركة، مما يحول دون تحسين واضح في النتائج.

تقدم الدراسة الجديدة إطاراً مبتكراً يستند إلى التعلم المعزز، حيث يستخدم نموذج لغوي ضخم لإنشاء وصف طبيعي محسّن للكلام. هذه الأوصاف يتم تحويلها إلى تقييمات تتراوح من 1 إلى 5 بواسطة نموذج تحليل المشاعر، مما يوفر مكافآت متناسبة مع الأهداف المرادة لنموذج AVSE.

لقد أظهرت التجارب التي تمت على مجموعة بيانات AVSEC-4 أن الأداء الجديد يتجاوز الطرق التقليدية مثل الأساسيات الخاضعة للإشراف وبنية التعلم المعزز المعتمدة على DNSMOS، والعلامات المؤشر الموزونة في تحليل جودة الصوت ونتائج اختبارات الاستماع التقييمية. هذا التطور يمثل خطوة هجومية نحو تحسين تقنيات التواصل القائمة على الذكاء الاصطناعي ويمكن أن يساهم في التطبيقات المستقبلية التي تعتمد على تحسين جودة الكلام وتفسيره بشكل أفضل.

ما رأيكم في هذا التطور؟ شاركونا في التعليقات!