في عصر تجاوز التكنولوجيا فيه الحدود، تأتي ReGen لتحدث ثورة حقيقية في نماذج الموجات الصوتية (Waveform Diffusion Models). لقد تم التحقيق في توافق التمثيل (Representation alignment - REPA) لتسريع تدريب نماذج الانتشار (Diffusion Models)، ولكننا نجد أن تنظيم التمثيلات الوسيطة في محولات الانتشار (Diffusion Transformers - DiT) قد يؤدي بشكل غير مباشر إلى تشابك البيانات الكامنة (Latents) ويحد من القدرة التوليدية.

للتغلب على هذه التحديات، اقترحنا إطار عمل ReGen لتوليد تمثيلات متعددة المستويات والذي يقوم بتقدير مجالات متعددة من المتجهات لكل من التمثيلات والبيانات ضمن نموذج واحد. كما قدمنا تحسين تدفق عام (Generalized Flow Matching - GFM) لتعزيز تعميم المطابقة الشرطية للتدفق (Conditional Flow Matching - CFM).

لقد تم اختبار ReGen على نماذج انتشار الموجات ذات المرحلة الواحدة، بما في ذلك ترميز الصوت العصبي (Neural Audio Codec) وWave-VAE. أظهرت النتائج تحسناً ملحوظاً في جودة توليد الموجات الصوتية من تمثيلات كمومية مضغوطة للغاية بمعدل 12.5 هرتز.

وبالإضافة إلى ذلك، نقدم نموذج ReGenVoice المبني على نموذج التشتت الكمومي (Latent Diffusion Model - LDM) لتحويل النص إلى خطاب، والذي يحقق دقة كلام قوية (Word Error Rate - WER) وتشابه المتحدث (Speaker Similarity - SIM) مع قاعدة بيانات صغيرة. تعمل LDM بمعدل 6.25 هرتز مع تمثيلات غنية من الجوانب الدلالية والصوتية، مما يتيح تدريباً وكفاءة عالية في الاستدلال، حيث يتطلب التدريب يوماً واحداً فقط على 4 وحدات معالجة الرسوم، ووقت استدلال سريع مع معدل زمن الاستجابة (Real-Time Factor - RTF) يبلغ 0.08.

للاستمتاع بعينة صوتية من هذا الابتكار المذهل، يمكنكم زيارة رابط التجربة. ما رأيكم في هذه التقنية الثورية؟ شاركونا في التعليقات.