في عالم الذكاء الاصطناعي، يعد التنبؤ بالأحداث المستقبلية أحد التحديات الرئيسية التي تواجه العلماء والباحثين. حديثًا، تم إطلاق "Forecast-Dojo"، وهي بيئة قابلة لإعادة التشغيل مُصممة خصيصًا لتدريب وتقييم وكلاء التنبؤ باستخدام نماذج اللغات الضخمة (LLM).

تجمع Forecast-Dojo بين أسئلة من أسواق التنبؤ المحلولة ومقالات أخبار مؤرخة، مما يسمح للوكلاء بدراسة الأحداث وإعادة تقييم تنبؤاتهم في تواريخ تاريخية متعاقبة. هذا التصميم يتيح إعداد مهام وأدوات داعمة لتقييم متكرر، وجمع تفاعلات تدريب، والحصول على تغذية راجعة من النتائج المسجلة دون الحاجة لانتظار أحداث جديدة.

تتضمن Forecast-Dojo 1,568 حدثًا من ''Polymarket''، مقسمة زمانيًا إلى فترات تدريب وتقييم، بالإضافة إلى 18.8 مليون مقالة أخبار مؤرخة. في تقييم لاثني عشر نموذجًا، أظهرت أدوات البحث انخفاضاً في درجة "Brier" لجميع النماذج. كما لوحظ تحسن في التوقعات مع تطور الأحداث، حيث كانت أكبر المكاسب في الخطوات التي تم فيها تسجيل أدلة جديدة مؤرخة.

رغم ذلك، لا تزال جميع النماذج تتخلف عن التنبؤات التاريخية للأسواق من حيث درجة الـ"Brier" والدقة. ولقد تم إدخال "دفتر المعتقدات"، الذي ينقل بين التواريخ، للحد من تكلفة البحث، ولكن لم يُظهر تحسينًا مستمرًا في جودة التنبؤات.

بعيدًا عن التقييم، تقدم Forecast-Dojo مسارات التفاعل وتغذية راجعة للنتائج من أجل تعلم الوكلاء، مع تحسين مُشرف كتجربة إثبات القدرة. بالاستفادة من هذه البيئة، يمكننا رؤية تطور كبير في نماذج التنبؤ وتأثيرها على مجالات متنوعة مثل التمويل، الصحة، والأبحاث الاجتماعية.