في تطور جديد يُثير حماس عشاق كرة القدم وعلماء الذكاء الاصطناعي على حد سواء، تم تقديم اختبار SportD الذي يستهدف تقييم كيفية استخدام نماذج الرؤية واللغة (VLMs) للمعلومات البصرية في اتخاذ قرارات استراتيجية خلال المباريات. عُقدت الدراسة في سياق لعبة كرة القدم، حيث تتيح هذه النماذج الفرصة لمراقبة الأحداث السابقة لقرارات اللاعبين على الكرة، سواء كانت تسديدة تجاه المرمى أو تمريرة لزميل.

يتضمن الاختبار 478 قرارًا على الكرة من كأس العالم 2022، مما يتيح تقييم كل نموذج بناءً على دقة قراراته مقارنة بنموذج قيمة الحيازة، الذي يقيم الخيار الأكثر زيادة في احتمالية تسجيل الأهداف. وقد أظهرت النتائج أن أفضل نماذج VLMs تحقق أعلى قيمة من الخيار بنسبة 31.4% من الأحداث، في حين كانت النسبة لدى اللاعبين المحترفين 38.9%.

ومع ذلك، فقد أظهرت كل النماذج تكبدها خسائر كبيرة، مع ميل ملحوظ للاختيار بين خيارات منخفضة المخاطر والأرباح. فمع كونها أقل عرضة للتسديد، اختارت نماذج VLMs تمريرات أقل تقدمًا مقارنة بالسياسات المثلى أو اللاعبين الحقيقيين. مما يطرح تساؤلات حول قدرة الذكاء الاصطناعي على تقييم البدائل بشكل دقيق.

تعتبر SportD معيارًا رئيسيًا لتقدير التفكير الاستراتيجي الفيزيائي في نماذج VLMs وتسلط الضوء على الفجوة بين التفكير البشري والذكاء الاصطناعي في مجاله.