في عالم الذكاء الاصطناعي، تأخذ نماذج اللغة الضخمة (Large Language Models) دورًا متزايد الأهمية، حيث تقوم بتحليل وتنفيذ مهام معقدة. لكن ما يزال هناك جانب مهم لم يتم تناوله بشكل كافٍ، وهو التفكير الاستراتيجي على المدى الطويل. لذلك، تم تقديم معيار جديد يُدعى سباير بينش (SpireBench) المصمم خصوصًا لتقييم هذه النماذج في لعبة Slay the Spire.

تسمح هذه اللعبة للمستخدمين ببناء بطاقات استراتيجية، حيث يعتمد النجاح على القرارات المبكرة التي تتخذها النماذج. في تجربة تمت عبر عشرين نموذجًا من نماذج اللغة الضخمة، تم اختبار الأداء على أعلى مستويات صعوبة اللعبة. وقد أظهرت النتائج أن بعض النماذج تتفوق على المعايير التقليدية، وتتنافس بشكل جيد مع متوسط أداء اللاعبين البشريين، لكنها تظل بعيدة عن مستوى الخبراء.

مع تطور اللعبة، يتم الكشف عن تحديات أكبر، حيث يتضح أن النماذج الأكثر قوة تحقق نجاحًا مشابهًا للخبراء في المراحل الأولى لكنها تفشل في الاستمرارية. الفرق بين النماذج القوية والضعيفة يكمن في كيفية أدائهم في كل معركة؛ فجميعهم يخطئون في تقدير المخاطر، حيث يفضل البعض الحفاظ على صحتهم بدلاً من المخاطرة للنمو.

تقدم سباير بينش معيارًا جديدًا غير مشبع، يوفر أدوات لتحديد أماكن وأسباب فشل الوكلاء، مما يجعلها نقطة انطلاق مثيرة لمزيد من الأبحاث حول استراتيجيات الذكاء الاصطناعي على المدى الطويل.