أصبح الذكاء الاصطناعي (AI) جزءًا لا يتجزأ من عملية تخطيط موارد المؤسسات (ERP)، حيث ظهرت أنظمة برمجية جديدة تهدف إلى تعزيز كفاءة العمل. في هذا السياق، تم تقديم BC-Bench كمعيار مبتكر لتقييم الأنظمة الهندسية الموجهة للذكاء الاصطناعي في بيئات البرمجة الخاصة بتخطيط موارد المؤسسات، وتحديدًا لغة AL الخاصة بـ Microsoft Dynamics 365 Business Central.

يتضمن BC-Bench 101 مهمة تم جمعها يدويًا من مستودعين إنتاجيين مملوكين لمايكروسوفت، مما يجعله أحد المصادر الغنية بالمعلومات التي تعكس سير العمل الحقيقي في تطوير ERP. يعتمد BC-Bench على منهجية SWE-Bench ولكنه يأخذ في الاعتبار قيود نظام AL، بما في ذلك نقص الموارد العامة وتعقيد إعداد البيئة.

لا يقتصر BC-Bench على توليد الأكواد الوظيفية، بل يتجاوز ذلك ليقيم القدرة على توليد الاختبارات ويتيح التعامل مع بيانات متعددة الأنماط حيث يتواجد السياق البصري غالبًا. من خلال تقييم عدة نماذج حديثة عبر اثنين من أدوات التنمية الهندسية، تم استخدام مقاييس متعددة الجوانب لأخذ عدم الحتمية بعين الاعتبار.

أظهرت النتائج في إطار فئة تصحيح الأخطاء أن الفروقات بين النماذج تبرز بشكل أكبر من الفروقات بين أدوات التنمية المُعتمدة، مما يؤكد أن تحسينات الأداء في المعايير العامة لا تُترجم دائمًا إلى بيئات AL. هذه النتائج تبرز أهمية التقييم المحدد للمجال لضمان النجاح الفعلي لهذه الأنظمة الذكية.