في عالم يعج بالتطورات التكنولوجية السريعة، ظهر إطار عمل CoIn كحل مبتكر لتحديات إعادة تعبئة المشاهد ثلاثية الأبعاد (3D scene inpainting). يعتمد هذا الإطار الثوري على دمج تقنيات الرسم ثنائي الأبعاد (2D) وثلاثية الأبعاد من خلال استخدام طرق متقدمة مثل Gaussian Splatting (GS).

تعد إعادة تعبئة المشاهد ضرورية لتجديد المناطق التالفة بسبب العوائق أو زوايا العرض المحدودة. ومع أن الطرق الحديثة كانت تعتمد على أقنعة تقسيم متعددة الآراء بدقة، إلا أنها كانت مقيدة في المهام المرتبطة بإزالة الكائنات فقط. لكن مع CoIn، نستطيع الآن تجاوز هذه الحواجز. يبدأ هذا الإطار بتوليد صور أولية معبأة عن طريق نموذج الانتشار (diffusion model)، مما يسمح باستخدام أقنعة بأشكال غير منتظمة وأداء مهام متنوعة كإدخال الكائنات.

كما نعرض تقنية جديدة تُعرف باسم Reference Adaptive GS مع الانتباه للميزات، والتي تعمل على إعادة بناء مشهد ثلاثي الأبعاد بشكل أساسي من خلال وزن المعلومات نحو العرض المرجعي (2D -> 3D). توفر هذه التمثيلات ثلاثية الأبعاد إرشادات هندسية لعملية الانتشار من خلال تقنية GS المعتمدة على تشويه الميزات المرجعية، مما يضمن اتساق في عدة وجهات نظر (3D -> 2D). وفي النهاية، يتم تحسين المشهد ثلاثي الأبعاد بواسطة مُميز تحسين القوام للحصول على درجات عالية من الواقعية البصرية (2D -> 3D).

وتظهر التجارب أن CoIn، التي تستفيد بذكاء من تدفق المعلومات الثنائي الاتجاه، تحقق أداءً رائداً في معالجة كل من إزالة الكائنات وإدخالها بمدخلات مرنة للقناع، مما يجعلها مبتكرة وجاذبة للمستخدمين والمطورين على حد سواء.