يشهد عالم الذكاء الاصطناعي تقدمًا ملحوظًا في معالجة المهام الإجرائية ذات الأهداف الضيقة، لكن مع زيادة استخدام هذه النماذج في بيئات طويلة الأجل وغير ثابتة، أصبح من الضروري تقييم فعاليتها في مجالات غير تقليدية مثل المراهنات الرياضية. في هذا السياق، قدمت ورقة بحثية جديدة مفهوم "كيلي بينش" (KellyBench)، وهو بيئة متكاملة لتقييم اتخاذ القرار المتسلسل في أسواق المراهنات.

تم تصميم هذه البيئة لتقديم تجربة محاكاة موسعة لموسم الدوري الإنجليزي الممتاز 2023-2024، حيث يوضع الوكلاء في مواقف متتالية وموكل إليهم مهمة تعزيز نمو رأس المال على المدى الطويل. تمت معالجة التحدي من خلال تزويد هؤلاء الوكلاء ببيانات تاريخية مفصلة تشمل إحصائيات متقدمة وتشكيلات الفرق والاحتمالات العامة.

لتحقيق النجاح، يتعين على النماذج بناء نماذج تعلم آلي فعالة، وتحديد المزايا في الأسواق العامة، والتكيف مع التغيرات البيئية على مر الزمن. ومع ذلك، تشير النتائج إلى أن جميع النماذج الرائدة التي تم تقييمها خسرت أموالًا في المتوسط على مدار الموسم. حققت أفضل نموذج متوسط عائد بنسبة -8%، مما يشير إلى وجود العديد من النماذج التي عانت من الفشل التام.

لتقييم مستوى استراتيجية هذه النماذج، استخدم الباحثون معايير من خبراء بشريين، حيث أظهروا أن النهج المستخدم في اتخاذ القرار لم يكن بالمستوى المطلوب مقارنة بالمستويات البشرية. على سبيل المثال، سجل نموذج "Claude Opus 4.6" 26.5% فقط، مما يدل على وجود مجال واسع للتحسين.

بفضل تصميمه المفتوح، يتوفر كيلي بينش على هيئة نقطة نهاية API مفتوحة، مما يسمح للمطورين والباحثين بالاستفادة منه في تحسين نماذجهم ومقارنة استراتيجياتهم بشكل فوري.