في عالم تتزايد فيه تعقيدات workflows المؤسسية، أصبحت الحاجة ملحة لوكالات استخراج البيانات التي تعتمد على mخططات مُوجهة. ومن هنا، يظهر لنا تقرير جديد بعنوان ExtractBench، الذي يمثل معيارًا رائدًا لاستخراج الوثائق بدقة عالية وخلال نطاق واسع. يمكن للوكالات، وفقًا للمخططات المحددة من قبل المستخدم، تتبع الوثيقة بدقة لتقديم النتائج الصحيحة مع دليل مصدر موثوق.

يشمل ExtractBench قاعدة بيانات مثيرة تتألف من 4,869 صفحة عبر 370 وثيقة مؤسساتية، حيث يهدف هذا المعيار إلى قياس مجموعة من العوامل الحيوية، بما في ذلك دقة القيمة، واكتمال السجلات، وتكاليف التشغيل. مثيرًا للاهتمام، أن المقياس يضم 8 مجالات تجارية مختلفة و67 نوعًا من الوثائق، مع علامات واضحة تفصل بين السيناريوهات التحدي.

ويقدم النظام تقييمًا متقدمًا يمكنه قياس الدقة من خلال مقاييس F1، بالإضافة إلى معيارين لتتبع المصدر على مستوى الكلمات والصفحات. يمكن أن تعمل نماذج اللغات الكبيرة (Large Language Models) بشكل جيد مع الوثائق القصيرة، لكنها غالبًا ما تفشل في الاحتفاظ بسجلات كاملة في الوثائق الطويلة. على الجانب الآخر، تحافظ الوكالات البرمجية على دقة أعلى لكنها تاتي بتكاليف مرتفعة.

والأكثر إثارة هو أن LlamaExtract Agentic Plus يظهر أداءً مذهلاً، متفوقًا في جميع المقاييس الثلاثة، حيث يقدم دقة مطابقة لتلك الخاصة بالوكالات البرمجية ولكن بتكلفة أقل بكثير.

للمطورين والمهتمين، البيانات الكاملة وأكواد التقييم متاحة على منصتي HuggingFace وGitHub. إذا كنتم تتطلعون إلى معرفة المزيد حول كيفية عمل هذا المعيار وكيف يمكن أن يؤثر في سير العمل الخاص بمؤسستكم، فتابعونا!