تواجه أنظمة الإجابة الآلية على الأسئلة المالية تحديات كبيرة نظرًا لتعقيد البيانات ودقتها، حيث قد تبدو البيانات المالية للبنوك مفرطة في التعقيد وطويلة جدًا. في هذا السياق، تم تطوير مجموعة بيانات جديدة تُدعى "FinRAG-QA"، والتي تهدف إلى تعزيز دقة الأنظمة الطموحة للإجابة على الأسئلة المالية، من خلال تقديم مجموعة من الأسئلة المنسقة بعناية.

تحتوي FinRAG-QA على 999 سؤالًا تم إعدادها بواسطة مختصين، تتناول 10 مؤشرات معيارية مستندة إلى 209 تقارير سنوية وتقارير "Pillar 3" من 24 بنكًا رائدًا في أوروبا والولايات المتحدة، والتي تغطي الفترة من 2019 حتى 2023.

تختلف هذه المجموعة عن المجموعات السابقة التي كانت تركز فقط على الإيداعات المالية الأمريكية أو التحليل داخل مؤسسة واحدة، حيث تسعى هذه المبادرة إلى استرجاع معلومات عبر مؤسسات مختلفة.

من خلال هذا المعيار، تم تقييم مسار العمل متعدد المراحل (multi-stage RAG pipeline) وأهمية كل مكون فيه. ومن النتائج المثيرة للاهتمام أن تحسين السياق مع نموذج التضمين المحسن لعمليات الاسترجاع رفع درجات NDCG@10 من 0.322 إلى 0.710، بينما زادت دقة الإجابات من 44.6% إلى 79.0% عند استخدام مولد مُحسن.

هذه المبادرة تم تنفيذها بين أواخر عام 2024 وبداية عام 2025، مع تقييم نماذج متاحة في ذلك الوقت، مما يقدم آمالاً كبيرة لمستقبل تحليل البيانات المالية ويعزز من قدرة الأنظمة على توفير إجابات دقيقة ومبنية على أسس صحيحة.