في عالم الأعمال الحديث، يصبح تقييم أداء وكلاء الأعمال أمراً حيوياً لضمان تحقيق الأهداف المؤسسية. ولكن، على الرغم من أهمية وجود معايير خاصة بمختلف المجالات، فإن المعايير العمومية المتاحة غالباً ما تفشل في قياس كيفية تكامل المعرفة التجارية مع الحسابات التحليلية. هنا يأتي دور DI-Bench، المشروع الثوري الذي يحقق قفزة نوعية في هذا المجال.

يعمل DI-Bench كنظام لتوليد معايير واقعية لاستخلاص البيانات (Data Intelligence) من خلال إنشاء رسم بياني لربط العناصر عبر الجداول والبيانات. يوفر هذا النظام أدوات وإجراءات تسمح بإنشاء أسئلة تعتمد على البيانات المنظمة والمعرفة المرتبطة بها.

كما يقوم DI-Bench بتوليد إجابات حقيقية من خلال تنفيذ الاستعلامات، ثم الانتقال إلى مرحلة إنتاج الأسئلة والتحقق من صحتها باستخدام نماذج اللغات الضخمة (Large Language Models). ومن خلال تطبيقه على مجموعتين بيانات عامتين، أنتج DI-Bench معايير تقييم تضم 731 مهمة تتعلق باسترجاع المعرفة، الحسابات التحليلية، والمنطق القائم على القواعد.

ومع هذا الإنجاز، يُظهر DI-Bench مدى تأثير المهام الحسابية التي تتضمن استخدام قواعد تجارية في دقة الأنظمة. حيث كشفت تقييمات قام بها على أربع نماذج أن دقة الأداء لا تتجاوز 32% في المهام الحسابية التي تتطلب تعديل القواعد المسترجعة.

في النهاية، يعكس DI-Bench مستقبل واعدٍ في تقييم الأداء وتحسين قدرات وكلاء الأعمال من خلال توفير معايير دقيقة وواقعية تعكس التحديات التي يواجهونها في بيئة العمل.