في عالم الذكاء الاصطناعي، تطور تقنيات تحويل الصور إلى فيديوهات (Image-to-Video Generation) بشكل مذهل، ويأتي مشروع VidCRAFT3 ليكون من بين أبرز الابتكارات في هذا المجال. هذا الإطار الجديد يمكن المستخدمين من تحويل صورة مرجعية إلى فيديو متكامل، مع التحكم الدقيق في حركة الكاميرا، وحركة الأجسام، والإضاءة.

تمثل تلك العوامل أهمية كبيرة في الإنتاج المرئي بجودة عالية، ولكن معظم الأساليب الحالية تتعامل مع كل عامل بشكل مستقل، مما يؤدي إلى مشكلات مرئية مثل اختلاف الظلال وانحراف المنظور أثناء التغيرات المتزامنة. هنا يأتي دور VidCRAFT3، الذي يعيد تعريف كيفية الجيل المتحكم فيه من الفيديوهات.

يجمع VidCRAFT3 بين تفاعلات عديدة تشمل الهندسة والحركة والإضاءة، مما يتيح تحكمًا مستقلًا أو مشتركًا في العناصر الثلاثة. ويعتمد نظام Image2Cloud على خصائص ثلاثية الأبعاد واضحة لضمان السيطرة الدقيقة على حركة الكاميرا، بينما يقوم ObjMotionNet بترميز مسارات الأجسام المحدودة إلى ميزات حركة متعددة المستويات لتوجيه حركة الأجسام بشكل واقعي.

وبفضل تقنية Spatial Triple-Attention Transformer، يتيح النظام دمج اتجاه الإضاءة بشكل متسق، مما يسهم في إعادة الإضاءة بطريقة تحافظ على تقارب العناصر المرئية. لمواجهة نقص البيانات المشتركة، تم إنشاء مجموعة بيانات VideoLightingDirection (VLD) مع تعليقات دقيقة لاتجاه الإضاءة لكل إطار، بالإضافة إلى استراتيجيات تدريب تدريجي من ثلاث مراحل، مما يمكن من التعلم القوي دون الحاجة إلى التعليقات المشتركة بالكامل.

لقد أثبتت التجارب الواسعة أن VidCRAFT3 يحقق أداءً رائدًا في دقة التحكم والتناسق البصري عبر سيناريوهات متنوعة. هل ترغب في معرفة المزيد عن هذه التقنية المثيرة؟ شاركونا آرائكم في التعليقات!