في عالم الذكاء الاصطناعي، تُعد الرسوم البيانية تحدياً تقنياً يتطلب فهماً دقيقاً للمعلومات المرئية. مؤخراً، أظهر نظام ChartAgent الجديد وعداً كبيراً في تحسين أداء الإجابة على الأسئلة المتعلقة بالرسوم البيانية، خاصة تلك التي تتطلب معالجة بصرية دقيقة بدلاً من الاعتماد على النصوص فقط.

تطلق ChartAgent، المعروفة بإطارها الفريد، آلية متطورة تؤدي reasoning بصرياً مباشرة في المجال المكاني للرسوم البيانية. بدلاً من استخدام طرق التفكير التقليدية المعتمدة على النص، يقوم النظام بتفكيك الاستفسارات إلى مهام بصرية فرعية، ويقوم بتنفيذها نشطاً من خلال تفاعلات مع صور الرسوم البيانية. على سبيل المثال، يتمكن من رسم التعليقات، وقص المناطق (مثل تقسيم شرائح الدائرة أو عزل القضبان)، وتحديد المحاور باستخدام مكتبة من أدوات رؤية الرسم البياني المتخصصة.

هذا الأسلوب العقلي التكراري يُشابه استراتيجيات الفهم البشري للرسوم البيانية، مما يعطي نتائج دقة مذهلة. حيث سجل ChartAgent أعلى دقة على معايير ChartBench وChartX، متجاوزاً الطرق السابقة بنسب تصل إلى 16.07% في النتائج العامة و17.31% على الاستفسارات غير المعنونة والمعقدة رياضياً.

تظهر تحليلاتنا أن ChartAgent ليس فقط فعالاً عبر أنواع متنوعة من الرسوم البيانية، بل يُحقق أيضاً أعلى الدرجات في مستويات التعقيد البصري والتفكير. كما يُعتبر إطارًا يُمكن توصيله وتشغيله بسهولة، يُعزز الأداء عبر نماذج لغوية متعددة (LLMs).

بلا شك، يعكس هذا العمل الجهد الرائد في استكشاف آليات reasoning البصري لفهم الرسوم البيانية من خلال أدوات مدعومة بواسطة وكالات متعددة الوسائط. هل أنتم مستعدون لاستكشاف المزيد حول هذه التكنولوجيا الرائدة؟ شاركونا آراءكم في التعليقات!