في إطار البحث عن تحسين سبل استخراج البيانات من الوثائق غير المنظمة وتحويلها إلى جداولٍ منظمة، تم تقديم معيار DTBench، والذي يمثل نقطة تحول في هذا المجال. يعتمد استخراج الجداول من الوثائق (Doc2Table) على تحويل المحتوى غير الهيكلي إلى جداول ضمن مخطط مستهدف، مما يتيح تحليلات بيانية موثوقة وقابلة للتحقق باستخدام SQL.

على الرغم من أن نماذج اللغة الكبيرة (Large Language Models) أثبتت فعاليتها في استخراج المعلومات، إلا أن قدرتها على إنتاج جداول بصورة دقيقة ما زالت قيد البحث، خصوصاً في حالات الاستخراج غير المباشر التي تتطلب مهارات متقدمة مثل التفكير وحل النزاعات.

تظهر المعايير الحالية التي تقيم هذه النماذج فجوات في التفريق الشامل بين القدرات المتنوعة المطلوبة في استخراج Doc2Table. لذلك، يبرز DTBench كمعيار جديد يركز على تقييم القدرات بشكل منهجي، متحدياً التحديات المرتبطة بتكاليف إنشاء معايير تعتمد على أزواج الوثائق والجداول.

بفضل استخدام نموذج Table2Doc العكسي وتصميم سير عمل متعدد الوكلاء، تمكن الباحثون من إنتاج وثائق من جداول حقيقية، مما يوفر بديلاً عملياً وفعالاً. يقدم DTBench تصنيفًا ثنائي المستويات يتضمن 5 فئات رئيسية و13 فئة فرعية من قدرات Doc2Table.

من خلال تقييم عدة نماذج لغة رئيسية على DTBench، تم الكشف عن فجوات ملحوظة في الأداء، بالإضافة إلى تحديات مستمرة في مجالات التفكير والموثوقية وحل النزاعات. يشكل DTBench اختباراً شاملاً لتوليد البيانات والتقييم، مما يسهل الأبحاث المستقبلية في استخراج البيانات من الوثائق. المعايير متاحة للعامة عبر الرابط: [https://github.com/ZJU-DAILY/DTBench].