في عالم الذكاء الاصطناعي المتنوع، تكمن إحدى أكبر التحديات في توفير صوت غرائب وغامرة تتماشى بشكل متزامن مع السرد النصي الطويل. على الرغم من نجاح النظام الحالي لتوليد الصوت من النص (Text-to-Audio TTA) في توليد تأثيرات صوتية منفصلة، إلا أنه يفتقر إلى الترابط السردي والعمق العاطفي.

تقدم BackgroundMellow إطارًا مبتكرًا يعيد صياغة الفكرة، حيث يعتبر تحويل النص إلى صوت مهمة تتطلب دقة في الأوركسترا والمعالجة الصوتية. يعتمد هذا الإطار على معمارية وكيل رئيسي ومتخصص يعمل على تحليل النصوص بدقة إلى مؤشرات صوتية متعددة الطبقات. ليس ذلك فحسب، بل يتم أيضًا توليد كل فئة من الأصوات بواسطة نموذج متخصص ملائم، ثم دمجها لتكوين مقطع صوتي موحد ومتجانس.

يعتمد النظام على نموذج Tango2 للتوليد البيئي بجانب مكتشف الموسيقى التصويرية السينمائية (Cinematic BGM Retriever) المستخرج من مقاطع الموسيقى الاحترافية. ولتسهيل عملية خلط الصوت، تم استخدام وحدة تعتمد على معالجة اللغة الطبيعية (NLP) التي تتوقع معايير صوتية دقيقة مثل وقت البدء ومدة الصوت ومستوى الصوت النسبي بناءً على الجدول الزمني للسرد.

من خلال تقييم فعالية النظام الجديد، أظهرت التجارب المقارنة ضد مجموعة بيانات منظمة من مقاطع الفيديو المتوفرة على يوتيوب، كيف أن BackgroundMellow يمكن أن يحدث ثورة في كيفية تفاعل جمهورنا مع القصص من خلال عمق الصوت وتزامنه.