في عصر التكنولوجيا المتقدمة، تسعى مولدات الصور إلى إنتاج صور ذات أعلى جودة ممكنة. ومع ذلك، فإن العديد من هذه الأنظمة تعاني من عدم الاتساق الفيزيائي عندما تتعرض لحركة الذات، مما يحد من إمكانية استخدامها في التفكير المكاني والتخطيط المرتبط بالبدن. لذا، تم إطلاق معيار EgoGenEval الجديد، وهو معيار مُعَد لقياس الاتساق الفيزيائي للمولدات البصرية تحت ظروف حركة الذات.

يتكون اختبار EgoGenEval من قسمين رئيسيين. القسم الأول يحتوي على 1,400 حالة و2,360 عرض مستهدف، متناولًا كل من الحركة الأحادية والمتعددة الخطوات. يتم قياس اتساق حركة الكاميرا (Camera Motion Grounding - CMG) والحفاظ على حالة المشهد (Scene State Preservation - SSP) بشكل منفصل، مع التحقق من صحة هذه المقاييس ضد تقييمات بشرية مجمّدة.

عند تقييم 16 نموذجًا بدون قيود وضعية بالإضافة إلى مرجعَين مشروطَي الوضع، تكشف النتائج عن صعوبات كبيرة في قدرة النماذج الحالية على تنفيذ حركة الكاميرا بينما تحافظ على حالة المشهد، حيث لم يحقق أي نظام أداء جيد في كلا المحورين في وقت واحد.

القسم الثاني من الدراسة يركز على ما إذا كانت البيانات المستمدة من المعيار يمكن أن تحسن هذه القدرات. لذا تم تطوير نموذج EgoGen-Train باستخدام نفس أنبوب العمل المبني على الهندسة، وتجري دراسات تعليم خاضعة للرقابة. تشير النتائج إلى أن الإشراف المتزاوج لا يحسن بشكل موثوق اتساق حركة الكاميرا والحفاظ على حالة المشهد معًا. حتى عند استخدام مجموعة تدريب كاملة وميزانية طويلة، كانت زيادة الحفاظ على الحالة لا تتجاوز fractions مما حققته حركة الكاميرا.

تشير هذه النتائج إلى أن الهدف القائم على التعليم المتزاوج نفسه قد يكون هو القيود الأساسية، مما يحفز التفكير في نموذج مركزي قائم على المسارات يجمع بين التكرارات الذاتية مع إشراف واضح على الوضع والرؤية.

هل تعتقدون أن هذه المنهجية ستحل مشاكل الاتساق الفيزيائي في النماذج البصرية؟ شاركونا آراءكم في التعليقات!