في عالم الذكاء الاصطناعي، حيث تتطور تقنيات اللغة والرؤية بوتيرة سريعة، يبرز معيار SceneBench كخطوة نوعية نحو تحسين الفهم المكاني ثلاثي الأبعاد. فبينما تتفوق نماذج اللغة والرؤية في فهم الصور ثنائية الأبعاد، إلا أنها تواجه تحديات كبيرة عند التعامل مع البيانات ثلاثية الأبعاد.

تعود هذه القيود أساساً إلى التحليل السطحي الذي تقدمه البيانات الحالية، حيث تركز معظمها على سحب النقاط (point clouds) التي تلتقط هندسة الصورة ولكنها تتجاهل الميزات البصرية الغنية مثل القوام والنصوص والمواد. ولتجاوز هذه العوائق، يأتي معيار SceneBench الذي يتضمن 966 مشهداً ثلاثي الأبعاد مصمماً بشكل فوتوجرافي، تمت إعادة بنائه باستخدام تقنية Gaussian Splatting.

ما يميز هذا المعيار هو أن المشاهد الداخلية تم غمرها بتعليقات هيكلية دقيقة تغطي جوانب متعددة مثل المشاهد والغرف والمناطق الوظيفية ومجموعات الأغراض، مما يمنح نماذج اللغة والرؤية القدرة على التفاعل مع البنية الهيكلية للبيئة.

تتألف عملية التوصيف من دمج نماذج اللغة والرؤية مع ما يقارب 1500 ساعة من العمل البشري، مما أدى إلى إنتاج أكثر من 183 ألف عقدة تم التعليق عليها مع أوصاف نصية وصناديق ثلاثية الأبعاد. كما تم تعريف ثلاثة مهام تقييمية جديدة: أسئلة تعتمد على الوجود تستقصي سمات الأغراض، وأسئلة ذكاء مكاني تغطي العد والمقارنة بين الأحجام والعلاقات الاتجاهية، وثلاثيات أسئلة-تفكير-إجابة (QRA) التي تتطلب استنتاج متعدد الخطوات عبر المستويات الدلالية.

تظهر التجارب مع أحدث نماذج الرؤية واللغة أن الأداء الجيد في المهام الأساسيةيتضاءل بشكل كبير عند مواجهة تحديات الاستدلال الهيكلي والتركيبي، مما يكشف النقاط الضعيفة التي لم يتم التقاطها بواسطة المعايير الحالية. يقدم معيار SceneBench بيئة اختبار واقعية لتطوير وتقييم النماذج القادرة على التفكير المكاني الدقيق في بيئات ثلاثية الأبعاد فوتوجرافية.