تعتبر التقييمات الآلية أمرًا حيويًا لتوسيع أنظمة الجيل ثلاثي الأبعاد، حيث إن المراجعات البشرية المستنفذة للوقت كانت مكلفة وبطيئة. لكن، ما هو سر نجاح التقييم الآلي؟ الأمر يتجاوز مجرد نموذج الرؤية واللغة (VLM) المستخدم، بل يشمل أيضًا كيفية تقديم الأصول، الأدلة البصرية المعتمدة، تحديد المهام، وبناء تسميات المراجع البشرية.

لذا، تم تقديم 3D-DefectBench، وهو معيار جديد وإطار عمل للتحليل النظامي لعمليات اكتشاف العيوب القائمة على نماذج الرؤية واللغة. يجمع هذا المعيار بين التقييمات الشاملة والتوجهات الثنائية الدقيقة (Vision-Language Models) التي تمتد عبر هندسة الشكل، النسيج، وامتثال الرسائل، مما يقدم تشخيصات عملية لتطوير المولدات وتقييم القضاة.

في إعدادات متوازنة، تم التلاعب بأربعة عوامل في العمليات: نموذج الرؤية واللغة، بروتوكول الكاميرا، المدخلات المرئية، ونموذج الرسالة، عبر 84 تصميم تقدير وحوالي 3.2 مليون قرار تقييم عيوب. وجد أن اختيار النموذج هو العامل الأكثر تأثيرًا في التوافق مع تسميات البشر، بينما تؤثر العوامل الأخرى أيضًا على الأداء.

أظهر تحليل تصميمات المقاييس أن بروتوكول العرض الوجهي الستة كان فعالًا مثل إعدادات العرض الكثيفة مع تحسينات العمق أو الأسطح. ومع بقاء أفضل 12 قاضيًا من نماذج VLM أقل من أداء المقيّمين البشر المدربين، ارتفعت فجوات التوافق بشكل حاد عند استبدال تسميات الإجماع الخبيرة بتسميات منخفضة الجودة.

تكشف هذه النتائج أن القضاة الآليين يجب تقييمهم كجزء من أنظمة كاملة وليس فقط كنماذج قائمة بذاتها. يمكن للجميع الاستفادة من هذا الابتكار الجديد من خلال الحصول على التسميات، المدخلات، التوقعات، وبيانات Croissant عبر Hugging Face.

ما رأيكم في هذا التطور المذهل؟ شاركونا تجاربكم وتوقعاتكم في التعليقات!