تعد نماذج اللغة الكبيرة (Large Language Models) محورًا رئيسيًا في نظم الذكاء الاصطناعي الجغرافي (GeoAI)، لكن غالبًا ما يتم تجاهل تقييم متطلبات البيانات الجغرافية عند استخدامها. وهذا يعد نقصًا خطيرًا، حيث أنه لا يمكن دعم المهام التحليلية المرتبطة بالجغرافيا بشكل موثوق بدون التعرف على البيانات الضرورية والقيود المفروضة.

من هنا، تم تقديم GeoFitBench-LLM، وهو معيار يهدف إلى تقييم ما إذا كانت نماذج اللغة الكبيرة قادرة على استنتاج البيانات اللازمة والموارد الداعمة والقيود المطلوبة لمهام تحليل البيانات الجغرافية عند استخدام اللغة الطبيعية. يشمل هذا المعيار بُعدين للقياس: "الروابط الزمانية والمكانية" و"التأصيل الدلالي"، واللذان يعكسان التحديات المستمرة في استرجاع المعلومات الجغرافية والمهام ذات الصلة باللغة الطبيعية.

يتم تشفير متطلبات الحقيقة الأساسية ضمن مخطط ثابت غير مرتبط بمزود معين، مما يسهل التقييم المتكرر لتحديد الموارد والمواصفات على مستوى الصفات.

أجريت تجارب على سبعة نماذج تحت شروط تحفيزية بسيطة، وقد أظهرت النتائج أن التعرف على الموارد المطلوبة يمكن تحقيقه غالبًا، حيث حقق نموذج GPT-5.4 Thinking أعلى نتيجة عن طريق استرجاع المجموعة الكاملة من الموارد في 66.67% من الطلبات في المعيار.

ومع ذلك، تشير النتائج أيضًا إلى أن تحديد ملاءمة الاستخدام بدقة يظل أكثر صعوبة مع زيادة المطالب الاستنتاجية. يوضح هذا البحث الحاجة الملحة لتطوير النماذج وتحسين قدرتها على معالجة البيانات الجغرافية بشكل فعال.

هل تعتقد أن GeoFitBench-LLM يمكن أن يحدث فرقًا في تطبيقات الذكاء الاصطناعي الجغرافي؟ شاركونا آرائكم في التعليقات!