في ظل التطور السريع لنماذج اللغة الضخمة (Large Language Models)، نشهد الآن فتح آفاق جديدة في إدارة البيانات متعددة الوسائط، خاصةً في مجال الإجابة عن الأسئلة المعقدة (Question Answering) التي تشمل بيانات مترابطة متعددة الجداول.

ورغم التقدم الواضح، تبقى مسألة تقييم هذه النماذج بشكل منهجي في سياق أسئلة متعددة الجداول تحديًا حقيقيًا، نظرًا للتعقيد المتأصل في تحليل التركيب البياني للبيانات. إذ أن المعايير الحالية تركز بشكل رئيسي على أسئلة جدول واحد، مما يغفل التفاصيل الحيوية للتواصل بين الجداول المتعددة، وهو ما يعد ضروريًا في مجالات مثل المالية، الصحة، والتجارة الإلكترونية.

لذا، نقدم لكم TQA-Bench، وهو معيار للبيانات المستندة إلى الجداول، يتم اشتقاقه من مجموعات بيانات عامة حقيقية، ويتميز بآلية أخذ عينات مرنة تسمح بتغيير طول السياق من 8,000 إلى 64,000 رمز. هذا النموذج لا يقوم فقط بتقييم قدرات الاستدلال، بل يتجاوزها ليشمل تقييم قدرة النماذج على معالجة البيانات المركبة.

قمنا بتقييم مجموعة من نماذج اللغة الضخمة تمتد من 2 مليار إلى 671 مليار معلمة، وكشفت تجاربنا الشاملة عن رؤى هامة حول أداء هذه النماذج في سياق الأسئلة متعددة الجداول، مما يسلط الضوء على التحديات والفرص المتاحة لتعزيز استخدامها في بيئات تعتمد على البيانات المعقدة.

TQA-Bench يمثل خطوة هامة نحو تحقيق فعالية أكبر للذكاء الاصطناعي في تطبيقات العالم الحقيقي، ويدعو المطورين والباحثين إلى التفكير في مستقبل الأبحاث والتطبيقات في هذا المجال.