في السنوات الأخيرة، برزت نماذج توليد الصوت والفيديو المتعددة المتحدثين (Multi-Talker Audio-Video Generation - MTAVG) كأحد الابتكارات الرائعة في مجال الذكاء الاصطناعي، حيث أثبتت كفاءتها في مؤشرات أساسية مثل توافق حركة الشفاه (lip-sync) والتوافق الصوتي البصري (audio-visual alignment). إلا أن هذه المعايير لا تكفي لتقييم التعبير السينمائي في توليد المشاهد.

يمثل هذا التطور المهم الحاجة إلى أدوات حديثة لضمان أن نماذج التوليد لا تقتصر على الواقعية الصوتية والمرئية، بل تعبر عن الأداء المتماسك للشخصيات وخصائص سينمائية أعلى. ومن هنا، تم تقديم MTAVG-Bench 2.0، معيار مبتكر يشخص عيوب التعبير السينمائي في توليد الصوت والفيديو المتعدد المتحدثين.

يستهدف MTAVG-Bench 2.0 بشكل خاص مشاهد الدراما القصيرة وتوليد المشاهد على مستوى المشهد، مع وضع تصنيف شامل للعيوب يمتد عبر مجالات الأداء والسرد والأجواء ولغة الصوت والصورة. وكجزء من هذا الإطار، تم بناء أكثر من 10,000 حالة تقييم عبر أسئلة متعددة، مع مجموعات فرعية لتقييم المستوى الدرامي القصير وتحديد توقيت العيوب، ما يسهل تقييم قدرة نماذج اللغة الكبيرة الشاملة في تشخيص العيوب الصوتية المرئية بشكل شامل.

تشير النتائج التجريبية إلى أن النماذج التجارية مثل Gemini تتفوق بشكل كبير على غيرها من النماذج في تقييم الأداء، لكنها مازالت تواجه تحديات في مواجهة العيوب المعقدة.

ختامًا، برز MTAVG-Bench 2.0 كمؤشر منهجي يشخص العيوب ويوفر رؤى قيّمة لمساعي تطوير السينما الصوتية في عصر الذكاء الاصطناعي.