تقدم BenchCAD معياراً متكاملاً لتقييم الذكاء الاصطناعي في مجال تصميم الكومبيوتر المدعوم (CAD) بحيث يتمكن من توليد برامج تنفيذية من المدخلات البصرية أو النصية. إن تصميم القطع الصناعية يتطلب فهم هيكلها ثلاثي الأبعاد واستنتاج المعلمات الهندسية، بالإضافة إلى اختيار العمليات التي تعكس كيفية تصميم وتصنيع القطعة.

ورغم وعود النماذج اللغوية متعددة الأنماط (Multimodal Large Language Models) في هذا المجال، إلا أنه نادراً ما يتم تقييم فعاليتها في بيئات CAD الصناعية الواقعية. يحدد BenchCAD 17,900 برنامج CAD تم التحقق من تنفيذه عبر 106 عائلات قطع صناعية مثل التروس المائلة والزنبركات اللولبية وغيرها من التصاميم الهندسية القابلة لإعادة الاستخدام.

يتيح BenchCAD تقييم النماذج من خلال مجموعة متنوعة من الاختبارات مثل الإجابة على الأسئلة البصرية، تحويل الصور إلى كود، وتحرير الكود وفقاً للتعليمات. ورغم نجاح النماذج الحديثة في استعادة الشكل الخارجي العام، إلا أنها غالباً ما تفشل في إنتاج برامج CAD بارامترية دقيقة، حيث تشمل الأخطاء الشائعة عدم دقة التركيب ثلاثي الأبعاد وفهم خاطئ للمعلمات الهندسية.

تسهم العمليات مثل التعلم المعزز في تحسين الأداء ضمن المجالات المعروفة، ولكن تبقى قدرات التعميم نحو عائلات القطع الجديدة محدودة. تُظهر النتائج التي حققها BenchCAD ضرورة وجود معايير موثوقة لتعزيز جاهزية النظام للصناعات المعقدة.