في عالم الإنتاج السينمائي ومجال الذكاء الاصطناعي، يُعتبر فهم حركة الكاميرا أمرًا جوهريًا لتمييز الفيديو وتحقيق الذكاء المكاني. ومع التطورات الحديثة في نماذج اللغات متعددة الأنماط (Multimodal Large Language Models) ، يمكننا تسخير قوة الذكاء الاصطناعي لفهم وتحديد حركة الكاميرا بدقة عالية.

من خلال دراسة جديدة تم تقديمها على منصة arXiv تحت عنوان "فهم حركة الكاميرا بشكل مركّب عبر تحصيل المعرفة الجيومترية"، تم تسليط الضوء على كيفية التعرف على حركة الكاميرا بطرق جديدة ومبتكرة. فبدلاً من تصنيف مقطع الفيديو بأكمله، تنظر هذه الدراسة في التغيرات الزمنية للحركات وتحديد الأجزاء النشطة في كل مقطع.

تُمثل هذه الفكرة الجديدة في نموذج CamChoreo، والذي يأتي مع مجموعة بيانات مكونة من 4,229 مقطع فيديو حقيقي، حيث تم تزويدها بتعليقات زمنية دقيقة من خبراء. هذه التعليقات تستخدم مجموعة مكونة من 20 تسمية تعكس الاتجاهات، ويحتوي نصف المقاطع على حركات مركبة تُظهر تعدد الحركة في الوقت ذاته.

كما يُعتبر تحديد مثل هذه الحركات الدقيقة تحديًا كبيرًا للنماذج الحالية، مما يقودنا إلى الحل المبتكر المتمثل في CamDistill. يعمل هذا النموذج على استخلاص المعرفة الجيومترية وتحويلها إلى رموز ضوئية خفيفة الوزن أثناء التدريب، مما يلغي الحاجة لاستخدام النموذج ثلاثي الأبعاد في مرحلة الاستنتاج. وبالتالي، تمكن CamDistill من تحقيق دقة تعادل النموذج التقليدي دون الحاجة لتكاليف إضافية.

مع وجود نماذج متطورة مثل CamChoreo وCamDistill، نتجه نحو فهم أعمق لحركة الكاميرا. وهذا يُعد تحولاً كبيراً في كيفية إنتاج الفيديو وتفاعله مع المشاهدين.