في عصر يتزايد فيه استخدام نماذج اللغة الكبيرة (Large Language Models) في مجالات متعددة، بما في ذلك القانون، تظهر الحاجة إلى ضمان دقة المعلومات المقدمة. قد تؤدي الاقتباسات غير الصحيحة أو السوابق القضائية المُزَوَّرة إلى تداعيات مهنية خطيرة، وهذا ما تسعى لتسليط الضوء عليه دراسة حديثة تحت عنوان LegalCiteBench.

تأتي LegalCiteBench كإطار مرجعي مبتكر يهدف إلى دراسة موثوقية الاقتباسات في النماذج اللغوية القانونية، من خلال التقييم المباشر لمشاكل استرجاع الاقتباسات والتحقق منها. يتكون هذا الإطار من حوالي 24,000 حالة تقييم مُبنية على 1,000 حكم قضائي حقيقي من مشروع الوصول إلى قانون الحالة (Case Law Access Project).

يشمل LegalCiteBench خمس مهام رئيسية تركز على الاقتباسات: استرجاع الاقتباس، إكمال الاقتباس، الكشف عن أخطاء الاقتباس، مطابقة القضايا، والتحقق وتصحيح الحالات. رغم التحسينات الكبيرة في هذا المجال، فإن النتائج أظهرت أن استرجاع الاقتباسات لا يزال تحدياً صعباً؛ حيث سجلت أقوى النماذج أقل من 7 من 100 في مهام استرجاع الاقتباس.

الأبحاث تكشف أن النماذج غالبًا ما تقدم اقتباسات صحيحة بشكل ملموس ولكنها خاطئة أو ذات تداخل منخفض مع الاقتباسات الحقيقية، الأمر الذي يجعل confusion مستوى الإجابات الخاطئة يتجاوز 94% في 20 من 21 نموذجًا تم تقييمها.

عبر إشارات معينة حول عدم اليقين، قد تقلل بعض النماذج من الأخطاء ولكن دون أن تحسن دقة الاقتباسات بشكل جذري. إن LegalCiteBench مصمم ليكون أداة تشخيصية لدراسة أخطاء توليد السلطة وسلوك التحقق والامتناع عن الاقتباسات عندما لا تكون المصادر الخارجية متاحة أو مكتملة.

أمام هذه التحديات، تتبقى الأسئلة: كيف يمكن تحسين دقة الاقتباسات في النماذج القانونية؟ وما هي الحلول المحتملة لمواجهة هذه المشكلات؟