في عالم الذكاء الاصطناعي، تلعب نماذج العالم الجسدي (Embodied World Models) دورًا متزايد الأهمية كأدوات لجمع البيانات، وتخطيط الأفعال، والمحاكيات. ومع ذلك، فإن المعايير التقليدية لتقييم هذه النماذج تفتقر إلى بروتوكول موحد يُمكّن من تحديد ما إذا كانت النتائج المع-generated تحافظ على حالة المشهد ثلاثي الأبعاد الأساسي أو تُترجم إلى أفعال قابلة للتنفيذ.

نقدم اليوم معيار RoboPhys-3D، الذي يمثل خطوة نوعية في تقييم نماذج العالم الجسدي، والذي يعتمد على RoboTwin 2.0. يغطي هذا المعيار الجديد 50 مهمة في مجال المناولة عبر أربع فئات، مع تنفيذ 5,000 حلقة و25,000 فيديو حقيقي متعدد الزوايا.

تتضمن ميزة بارزة في RoboPhys-3D معالجة الفيديوهات المع-generated والحقيقية من خلال نفس خط أنابيب إعادة البناء ثلاثية الأبعاد، مما يمكّن من تمييز الأخطاء الناتجة عن إعادة البناء عن الأخطاء الناتجة عن الإنتاج.

يشمل معيار RoboPhys-3D تنظيم 50 مقياسًا تكميليًا في 18 بُعدًا فرعيًا عبر أربع مستويات: دقة البكسل، اتساق الهندسة ثلاثية الأبعاد، الفهم على مستوى الحالة، وكمالية المهمة. بالإضافة إلى ذلك، يتم تقديم Average Full Score، وهو مقياس هرمي يقوم بمتوسط جميع المقاييس الخمسين للتقييم الشامل، وRoboPhyscore، وهو مقياس متماسك مرتبط بالمهمة يعكس المقاييس الأكثر ارتباطًا بنجاح المهمة.

بينما يحقق نموذج Cosmos 3، من بين أربعة نماذج تمثيلية، أعلى درجات RoboPhyscore (0.6330، 92.7% من الحقيقة الأرضية)، تكشف المقاييس المرتكزة على الحالة والتنفيذ عن إخفاقات كبيرة لا تستطيع الأحكام المبنية على الإدراك ونماذج الرؤية واللغة التقاطها. يُظهر RoboPhyscore أيضًا توافقًا قويًا مع التقييم البشري (Pearson r = 0.9761 وSpearman ρ = 0.8962)، مما يبرز أهمية التقييم المتعلق بالإنجاز لفهم قدرات نماذج العالم الجسدي.