في عالم الذكاء الاصطناعي، تُعتبر نماذج الانتشار المستندة إلى تحويل الصور إلى فيديو (I2V) من أكثر التطورات إثارة، حيث تتزايد فعاليتها بشكل ملحوظ. ومع ذلك، واجهت هذه النماذج تحديات كبيرة في التعامل مع المدخلات ذات الدقة العالية جداً، مثل دقة 4K.

فبرغم قدرة هذه النماذج على توليد الفيديوهات بدقة معينة، إلا أنها غالباً ما تعاني من فقدان التفاصيل الدقيقة عند العمل على دقة أعلى. وهذا ينطبق بشكل خاص على الرسوم المتحركة التي تحتوي على أعمال فنية ضخمة تضم شخصيات متعددة وأجسام مختلفة تتطلب تنسيقًا مكانيًا متماسكًا على مر الزمن. لذا، يأتي ابتكار FrescoDiffusion ليحل هذه القضايا بنجاح.

تعتمد FrescoDiffusion على منهج تعليمي خالي من العمليات المعقدة لتوليد مقاطع فيديو عالية الجودة من صورة معقدة واحدة. المفهوم الأساسي وراء ذلك هو تعزيز تقنية denoising القائمة على بلاطات الصور مع استخدام عنصر أولي مستخرج مسبقًا. يتم أولاً توليد فيديو بدقة أدنى تتوافق مع نموذج الذكاء الاصطناعي، ثم يتم زيادة دقة المسار اللاتيني للحصول على مرجع عالمي يقوم بالتقاط الهيكل الزمني والمكاني على المدى الطويل.

لتحقيق دقة 4K، يتم حساب تنبؤات الضوضاء لكل بلاطة ودمجها مع هذا المرجع في كل خطوة من خطوات الانتشار عن طريق تقليل هدف مربع وزني واحد في فضاء المخرجات النموذجية. يجمع هذا الهدف بين معيار دمج البلاطات القياسي وشرط تنظيم إضافي، مما يؤدي إلى تحديث دمج مغلق يعزز من التناسق العالمي مع الحفاظ على التفاصيل الدقيقة.

تُظهر التجارب التي أُجريت على مجموعة بيانات VBench-I2V ومجموعة بيانات Fresco I2V الجديدة تحسنًا في التناسق العالمي وموثوقية النتائج مقارنةً بالأساليب التقليدية. كما تتيح تقنيتنا التنظيم العملي للتحكم في التوازن بين الإبداع والتناسق، مما يجعلها إضافة قيّمة لنماذج I2V الحالية.

هذا الابتكار يعد خطوة رائعة في عالم تحويل الصور إلى فيديو، فكيف يمكن أن يؤثر ذلك على مستقبل الرسوم المتحركة؟ شاركونا آراءكم وتجاربكم في التعليقات!