في السنوات الأخيرة، حققت نماذج لغات الذكاء الاصطناعي (Large Language Models) إنجازات مذهلة، مما شجع الباحثين على تطبيقها كمؤشرات عالمية لمختلف المهام المتعلقة بالبيانات البيانية. تعودنا على نموذج Graph-Tokenizing LLMs (GTokenLLMs) الذي يعمل على ضغط البيانات البيانية المعقدة إلى رموز بيانية ويعتبرها رموزاً بادئة لاستفسار نماذج الذكاء الاصطناعي. ولكن هل فعلاً تستطيع نماذج GTokenLLMs فهم هذه الرموز البيانية بفاعلية وكفاءة؟

هذا السؤال هو محور دراسة جديدة نشرتها مجموعة من الباحثين، حيث قاموا بتطوير إطار موحد لنماذج GTokenLLMs وابتكار خط أنابيب تقييم يسمى GTEval لتقييم فهم الرموز البيانية من خلال تحويلات التعليمات على المستويات الشكلية والمحتوى.

أظهرت النتائج التي خرجت بها التجارب التي أُجريت على 6 نماذج ممثلة من GTokenLLMs باستخدام GTEval ما يلي: (1) نماذج GTokenLLMs الحالية لا تفهم الرموز البيانية بشكل كامل؛ فهي تُظهر حساسية مفرطة أو ضعفًا في الحساسية تجاه تغييرات التعليمات وتعتمد بشكل كبير على النص في عمليات الاستدلال. (2) على الرغم من أن الرموز البيانية تحتفظ بمعلومات مهمة تتعلق بالمهام وتحصل على انتباه عبر طبقات LLM، فإن استخدامها يختلف من نموذج إلى آخر ومع اختلاف التعليمات. (3) تحسين التعليمات يمكن أن يُحسن الأداء للتعليمات الأصلية والمعروفة، ولكنه لا يُعالج بشكل كامل تحدي فهم الرموز البيانية، مما يدعو إلى مزيد من التحسين.

مع هذه النتائج، يتضح أن هناك تحديات كبيرة أمام نماذج الذكاء الاصطناعي لفهم البيانات البيانية، مما يفتح المجال أمام مزيد من البحث والتطوير. هل ستتمكن هذه النماذج من تجاوز هذه العقبات؟