تعاني النماذج الحالية في الذكاء الاصطناعي، وخاصة نماذج اللغة الضخمة (Large Language Models)، من ضعف في تقييم أدائها عند تطبيقها على بيانات العالم الحقيقي. حيث تركز المعايير الحالية على استرجاع الحقائق من جداول صغيرة، متجاهلة التحديات المعقدة المتمثلة في التعامل مع مجموعات البيانات الكبيرة متعددة الجداول أو دمج المعرفة الخارجية.

ولمعالجة هذه القضايا، تم تقديم معيار جديد يُطلق عليه DataGovBench، والذي تم تطويره استنادًا إلى بيانات الحكومة المفتوحة ليمثل سيناريوهات عملية. يتضمن هذا المعيار مهمتين رئيسيتين:
1. **Table QA**: تتطلب هذه المهمة حل أسئلة مركبة يمكن تفكيكها وإنتاج إجابات نصية أو تصورات بيانية.
2. **Table Insight**: تهدف هذه المهمة إلى تقييم قدرة النماذج على توليد نتائج خبراء من خلال تحليل البيانات الاستكشافي.

لقد أظهرت التجارب الشاملة مع أحدث نماذج اللغة الضخمة، سواء باستخدام أطر العمل الوكيلة أو بدونها، وجود فجوات كبيرة في الأداء عبر كلا المهمتين. تشير هذه النتائج إلى أن الأنظمة الحالية المعتمدة على LLMs لا تزال بعيدة عن تلبية احتياجات التحليل البياني العالمي.

تقدم DataGovBench معيارًا مثيرًا للتحدي لتعزيز الأبحاث حول نماذج اللغة الضخمة القادرة على الإجابة عن الاستفسارات التحليلية واكتشاف الرؤى من البيانات. لمزيد من المعلومات، يمكنك زيارة GitHub.