تعتبر الرسوم البيانية أدوات حيوية في التفكير التحليلي، لكن معظم المعايير الحالية لفهم الرسوم تركز بشكل رئيسي على تفسير الرسوم المنفردة. للتغلب على هذه الفجوة، تم إطلاق مشروع ChartDiff، الذي يُعدّ أول مرجع واسع النطاق لفهم المقارنات بين الرسوم البيانية.

يتضمن ChartDiff مجموعة ضخمة من 8,541 زوجاً من الرسوم البيانية، تم تعيينها بمُلخصات من تأليف نماذج اللغات الضخمة (Large Language Models) وتحققها البشر، حيث تصف هذه الملخصات الاختلافات في الاتجاهات والتقلبات والشذوذات بين الرسوم.

أظهرت النتائج أن نماذج اللغات العامة تبرز بأعلى جودة مبنية على GPT، في حين أن الطرق المتخصصة والمعتمدة على السلاسل تحصد درجات ROUGE أعلى ولكن جودتها في التقييم البشري كانت أقل، مما يبرز الفجوة بين التداخل اللغوي وجودة الملخصات الفعلية.

كما تم العثور على أن الرسوم البيانية متعددة السلاسل لا تزال تشكل تحدياً كبيراً عبر العائلات النموذجية، بينما تُظهر النماذج القوية النهائية مرونة نسبية تجاه اختلافات مكتبات الرسم.

بشكل عام، تُظهر هذه النتائج أن التفكير المقارن في الرسوم البيانية لا يزال تحدياً هائلاً لنماذج الرؤية-اللغة الحالية، مما يضع ChartDiff كمعيار جديد لدفع الأبحاث حول فهم الرسوم المتعددة.