أصبح الذكاء الاصطناعي جزءًا لا يتجزأ من القطاع المالي، حيث تزايد الاعتماد على نماذج اللغات الضخمة (Large Language Models) لتحليل البيانات واتخاذ القرارات. ومع ذلك، لم يكن هناك معيار موثوق يقيم أداء هذه النماذج في سياقات حقيقية تعكس تحديات السوق الفعلية. محاولات التقييم السابقة غالبًا ما استندت إلى بيانات وهمية أو عامة، مما أدى إلى فجوة ضخمة بين الأرقام المبلغ عنها والقدرات الحقيقية للنماذج.

تسجل هذه اللحظة التاريخية مع الإطلاق الجديد لنظام BizFinBench.v2، وهو النظام الأول من نوعه الذي يدمج تقييم الأداء في المدخلات والمخرجات باستخدام بيانات استجابة واستفسار حقيقية من أسواق الأسهم الأمريكية والصينية. يحتوي النظام على 28,860 سؤالاً موزعة على ثمانية مهام غير متصلة بالإنترنت ومهمتين متصلتين بالإنترنت.

أظهرت النتائج التجريبية أن نموذج GPT-5 حقق دقة تصل إلى 61.5%، وهو ما يزال بعيدًا عن متطلبات الأعمال العملية التي تتطلب دقة تصل إلى 84.8%. من بين النماذج التجارية المتاحة، تميز DeepSeek-R1 بكفاءة استثمارية أعلى، مما يشير إلى فعالية أكبر في التعامل مع التعقيدات الفعلية للأسواق.

من خلال تحليل الأخطاء المبني على الممارسات المالية الواقعية، تم تسليط الضوء على القيود المستمرة للنماذج الحالية، مما يبرز الحاجة المستمرة للتطوير والتحسين. بإمكان BizFinBench.v2 التخلص من قيود المعايير السابقة وتقديم أساس قوي لدعم نشر التطبيقات العملية لنماذج اللغات الضخمة في القطاع المالي.

المصدر: GitHub