يعتبر توليد الوجوه المتحدثة عالية الجودة في الوقت الحقيقي أحد أكبر التحديات التي يواجهها مجال الرؤية الحاسوبية (Computer Vision). حيث كانت الطرق الحالية تعتمد بشكل رئيسي على نماذج خاصة بالهوية، مما قيد إمكانية التعميم عبر هوية مختلفة. لكن، مع ظهور SDTalk، أصبح لدينا أمل جديد.

SDTalk هو إطار عمل متقدم يعتمد على تقنية Gaussian Splatting ثلاثية الأبعاد (3D Gaussian Splatting) والذي يتيح توليد الوجوه المتحدثة بشكل عام دون الحاجة للتدريب الشخصي أو التخصيص. هذا الابتكار يتكون من وحدتين ويعتمد على استراتيجية تدريب ذات مرحلتين. في المرحلة الأولى، يتم دمج معطيات هيكلية للوجه في وحدة إعادة البناء، حيث يتم التنبؤ بمعلمات Gaussian Splatting للمناطق المرئية والمخبأة على حدة، مما يتيح إعادة بناء الرأس بالكامل من صورة واحدة.

أما في المرحلة الثانية، فنعمل على إدخال حقل حركة مزدوج الفروع، الذي يتيح نمذجة الديناميات الوجهية الخشنة والدقيقة، مما يعزز من دقة التفاصيل وتزامن حركة الشفاه.

أظهرت التجارب أن SDTalk يتفوق على الطرق الحالية من حيث الجودة البصرية وكفاءة الاستدلال، مما يجعل من هذه التقنية خطوة رئيسية نحو تطوير الأنظمة المستقبلية في مجال الذكاء الاصطناعي.