في ظل التقدم السريع الذي يشهده الذكاء الاصطناعي، وخاصةً نماذج اللغات الضخمة (Large Language Models)، بدأ التحول في طريقة البحث عن المعلومات نحو نموذج الأسئلة والأجوبة. حيث يطرح المستخدمون أسئلتهم وتقوم هذه النماذج بتوليد الإجابات بطريقة تلقائية. في المجالات الحساسة مثل القانون، تُستخدم تقنيات التوليد المعزز بالاسترجاع (Retrieval-Augmented Generation - RAG) للحد من الأخطاء والمعلومات الغير صحيحة (Hallucinations) في الردود المولدة.

ومع ذلك، أظهرت الأبحاث السابقة أن أنظمة RAG، سواء كانت عامة أو متخصصة في المجال القانوني، لا تزال تخطئ بمعدلات متفاوتة، مما يستدعي الحاجة إلى تقييم دقيق. لكن الإطارات الحالية لتقييم أنظمة RAG القانونية تفتقر إلى الدقة اللازمة لتقديم تحليلات مفصلة لآداء الاسترجاع والتوليد بشكل منفصل. علاوة على ذلك، فإن معظم المعايير الحالية تركز بشكل كبير على اللغة الإنجليزية وتتعلق باستفسارات الخبراء القانونيين، مما يهمل احتياجات غير الخبراء.

لذا، نقدم لكم ClaimRAG-LAW، مجموعة بيانات شاملة تدعم اللغتين الفرنسية والإنجليزية، وتستهدف كلاً من الخبراء وغير الخبراء، كما تتضمن أنواعاً متنوعة من الأسئلة التي تعكس السيناريوهات الواقعية. نطبق كذلك إطار تقييم دقيق لأنظمة RAG القانونية الرائدة، مما يكشف عن قيود في الأداء سواء في استرجاع المعلومات أو في التحليل على مستوى المطالبات داخل المجال القانوني. هذه المبادرة ليست مجرد تطور تقني، بل هي خطوة مهمة نحو تقديم خدمات قانونية أكثر دقة وموضوعية تلبي احتياجات جميع المستخدمين.