في مجال الذكاء الاصطناعي القانوني (Legal AI)، تعتبر عملية التقييم الدقيقة للأدلة القانونية أمرًا حيويًا، إلا أن معظم المعايير الحالية تركز على أحكام القضايا فقط، متجاهلة التحديات الفريدة المرتبطة بالاستدلال التشريعي. حيث تتوزع الأدلة القانونية ذات الصلة عبر مستندات مرتبطة بشكل هرمي، مما يؤدي إلى ما يعرف بفجوة استرجاع التشريعات، حيث تفشل الكثير من خوارزميات الاسترجاع التقليدية.

لذلك، تم تقديم إطار عمل مبتكر يحمل اسم SearchFireSafety، الذي يهدف إلى تقييم استرجاع المعلومات القانونية بشكل يتوافق مع الهيكل التشريعي ويضمن الأمان. هذا الإطار يعمل على تقييم مدى قدرة نماذج الذكاء الاصطناعي على استرجاع الأدلة المتقطعة بطريقة آمنة، والامتناع عن تقديم معلومات غير دقيقة عند نقص السياق التشريعي.

تتمحور هذه الدراسة حول تنظيمات السلامة من الحرائق كمثال تمثيلي، حيث يتضمن النظام تقييمًا يستند إلى مصادر ثنائية، يتضمن أسئلة من العالم الحقيقي تتطلب استرجاعًا دقيقًا بالإضافة إلى سيناريوهات سياقية جزئية تمثل ضغوطًا على سلوك التخيّل ورفض الإدلاء بالمعلومات.

تظهر التجارب باستخدام نماذج لغوية ضخمة (Large Language Models) أن استرجاع المعلومات المدعوم بالرسم البياني (graph-guided retrieval) يحقق تحسينات ملحوظة، لكن لا يزال هناك قيد خطير على الأمان: إذ أن النماذج المتكيفّة مع مجال معين تكون أكثر عرضة للتخيل عندما يفتقر السياق إلى الأدلة التشريعية الأساسية. تكشف نتائجنا عن الحاجة الملحة لمعايير تقييم تأخذ في الاعتبار كلاً من الاسترجاع الهيكلي وأمان النموذج في الأوساط التنظيمية ذات التركيز التشريعي.