في عالم هندسة النظم، تعتبر المخططات أداة بالغة الأهمية لوصف بنية النظام وسلوكياته. ولتجنب الأخطاء وضمان الاتساق بين هذه المخططات، يعتمد المهندسون على إنتاجها بشكل جماعي. ولكن مع تقدم تكنولوجيا الذكاء الاصطناعي، خاصةً نماذج اللغات الضخمة (Large Language Models)، بدأت تظهر إمكانية توليد المخططات آليًا.

ومؤخراً، تم تقديم مجموعة بيانات جديدة تحت اسم SEMAADB، التي تضم 3000 سياق هندسي و15000 مخطط. تتكون كل مجموعة من خمسة مخططات متصلة ضمن لغة النمذجة الموحدة (SysML)، تشمل: متطلبات النظام، وتعريف الكتل، ونشاط النظام، وآلة الحالة، والتسلسل. لقد تمت مراجعة كل مجموعة مخططات للتأكد من صلاحيتها واستمراريتها.

تعتبر مجموعة البيانات هذه نقطة انطلاق لمقياس جديد لتحدي نماذج الذكاء الاصطناعي، مما يتيح لنا فهم مدى قدرتها على إنتاج مجموعات متماسكة من المخططات. تم تقييم ثلاثة نماذج لغوية على مستويين من المهام: إصلاح المخططات والتحديث عبر المخططات. حيث أظهرت النتائج أن النموذج الأقوى تمكن من إصلاح 64.3% من الأخطاء الدلالية. وبخصوص تحديث المخططات المتصلة، سجل أفضل نموذج نسبة F1 بنحو 80.7%.

توضح هذه النتائج أن إصلاح التركيب (syntax repair) تم تقريباً حله، لكن لا زالت مهام الإصلاح الدلالي والاتساق بين المخططات تمثل تحديًا كبيرًا. ومن خلال SEMAADB، نحصل على مورد غني من المخططات ومرجع لقياس قدرة نماذج SysML على الإنتاج الدقيق للمخططات المتعددة.