تعد المحاكاة الواقعية محورية لمجموعة واسعة من التطبيقات، بدءاً من الروبوتات وصولاً إلى الرسوم المتحركة. لقد خرجت محاكيات مستندة إلى التعلم إلى السطح كاحتمالية جديدة تتيح لنا التقاط الفيزياء الواقعية مباشرة من بيانات الفيديو. ومع ذلك، كانت هذه المحاكيات تتطلب معلومات خاصة مثل معلومات العمق ومسارات الجزيئات وميزات مصممة يدويًا لضمان الاتساق المكاني والزماني، مما جعلها تحد على مستوى القابلية للتوسع والتعميم في بيئات بيانات غنية.

للتغلب على هذه القيود الأساسية، تم تقديم 3DGSim، وهو محاكي ثلاثي الأبعاد تعلم ذاتياً يتمكن من فهم التفاعلات الفيزيائية مباشرةً من مقاطع الفيديو متعددة المناظر RGB. يجمع 3DGSim بين إعادة بناء المشهد ثلاثي الأبعاد، وتنبؤ ديناميات الجزيئات، وتوليد الفيديو داخل إطار مدرب بشكل متكامل.

يستخدم 3DGSim تقنية MVSplat لتعلم تمثيل قائم على الجسيمات لمشاهد ثلاثية الأبعاد، مع توظيف Point Transformer لديناميات الجزيئات، ووحدة دمج زماني لضمان التجميع الزمني المتسق، وGaussian Splatting لإنتاج عرض جديد للمشاهد. من خلال تدريب عكسي مشترك للنمذجة الديناميكية وإعادة التقديم، يقوم 3DGSim بدمج الخصائص الفيزيائية في ميزات كامن نقطة.

يمكّن هذا النموذج من التقاط سلوكيات فيزيائية متنوعة، بدءاً من الشدادات إلى ديناميات تشبه القماش، وظروف الحدود (مثل زوايا القماش الثابتة)، فضلاً عن تأثيرات الإضاءة الواقعية التي تتسع أيضًا لتشمل تفاعلات متعددة الأجسام غير المرئية وتعديلات جديدة على المشهد. إن التقدم في هذا المجال يعد بفتح آفاق إمكانيات جديدة لتطوير التطبيقات في عالم اليوم الرقمي.