يعتبر اتخاذ القرارات المالية في العالم الحقيقي من أبرز التحديات التي تواجه المحللين الماليين، إذ يتطلب الأمر التفكير في مجموعة متنوعة من الإشارات بما في ذلك الأسس المالية للشركات والبيانات السوقية. ومع الأحداث المتسارعة في مجال الذكاء الاصطناعي، وخصوصاً مع التطورات التي شهدتها نماذج اللغات الضخمة (Large Language Models)، بدأ المحللون الماليون في استغلال هذه التقنية لتحسين جودة قراراتهم.

ومع ذلك، كان هناك نقص في المعايير الفعالة لاختبار هذه النماذج في مجال المالية بحيث تركزت المعايير الحالية بشكل أساسي على بيانات الميزانية العمومية ولم تتناول كيف تتداول الأسهم في الأسواق ولا تفاعلها مع الأسس المالية. هنا يأتي دور معيار FinTradeBench الجديد، الذي يهدف إلى رفع مستوى الأداء من خلال دمج الأسس المالية وإشارات التداول.

يحتوي FinTradeBench على 1400 سؤال مستندة إلى الشركات المدرجة في NASDAQ-100، مُقسّمة إلى ثلاث فئات من التفكير: أسئلة تركز على الأسس المالية، وأخرى تركز على إشارات التداول، وأخرى هجينة تتطلب التفكير بين الإشارات المختلفة.

لضمان موثوقية هذه المعايير على نطاق واسع، تم اعتماد إطار عمل مكون من مرحلتين يشمل تصميم أسئلة من خبراء، وإنشاء استجابات متعددة النماذج، وتصفية داخلية للنماذج، ومراجعة عددية، وتوافق بين القضاة البشريين ونماذج الذكاء الاصطناعي. تم تقييم 14 نموذجاً للغات الضخمة تحت ظروف بدون تدريب مسبق (zero-shot) وأيضاً في سياقات موسعة البيانات، حيث أظهرت النتائج فجوة واضحة في الأداء.

تؤكد النتائج أن البحث الفعّال قد تحسن بشكل كبير عند استخدام البيانات النصية للأسس المالية ولكنه يوفر فائدة محدودة عندما يتعلق الأمر بالتفكير في إشارات التداول. تسلط هذه النتائج الضوء على التحديات الأساسية في التفكير الرقمي والسلاسل الزمنية بالنسبة لنماذج اللغة الحالية، مما يشجع الباحثين على استكشاف المزيد في مجال الذكاء المالي.