تشكل الرسوم البيانية عنصرًا أساسيًا في الأدبيات العلمية والمالية، حيث تقدم بيانات منظمة بشكل يسهل قراءتها. ومع ذلك، لا يزال فهم هذه الرسوم يمثل تحديًا كبيرًا لنماذج اللغات المتعددة الوسائط (Multimodal Large Language Models - MLLMs)، وذلك بسبب نقص البيانات عالية الجودة والحاجة إلى عمليات تجسيد بصرية دقيقة وحسابات عددية متقنة.

لمواجهة هذه التحديات، تم اقتراح نظام DuoChart، وهو خط أنابيب بيانات ثنائي المصدر يمكنه دمج الرسوم البيانية الاصطناعية مع الرسوم البيانية الواقعية، مما يسهم في بناء بيانات تدريبية متنوعة وذات جودة عالية.

بعد ذلك، تم تقديم أداة CharTool، التي تتيح لنماذج MLLMs استخدام أدوات خارجية تعزز قدرتها على الفهم البصري والحساب الرقمي. تتضمن هذه الأدوات القص والتعديل للصورة لتحقيق إدراك بصري محلي أكثر دقة، وإجراء عمليات حسابية دقيقة للمساعدة في التفكير الرقمي.

من خلال استخدام التعلم المعزز بالوكالة (Agentic Reinforcement Learning) على DuoChart، تعلمت CharTool كيفية دمج عمليات التفكير باستخدام الأدوات بما يتناسب مع محتوى الرسوم البيانية. أظهرت التجارب الشاملة على ستة معايير رئيسية للرسوم البيانية أن طريقتنا تعمل على تحسين الأداء مقارنة بالنماذج القوية الأخرى في مجال MLLMs. وبشكل ملحوظ، تفوقت CharTool-7B على النموذج الأساسي بنحو 8% على CharXiv (Reasoning) و 9.78% على ChartQAPro، بينما حققت أداءً تنافسياً مع نماذج أكبر أو خاصة.

علاوة على ذلك، أثبتت CharTool قدرتها على التعميم الإيجابي في معايير التفكير الرياضي البصري خارج النطاق.

ما رأيكم في هذه التطورات الرائعة في فهم البيانات؟ شاركونا آراءكم في التعليقات!