تعتبر المراجعة القانونية واحدة من المجالات التي تعتمد بشكل كبير على معالجة كميات هائلة من النصوص، مما يجعلها من أكثر المجالات عرضة لاستخدام نماذج اللغة الكبيرة (Large Language Models). وكان التقيد بمراجعة العقود أو "Contract Scrubbing" الذي يهدف إلى تدقيق الاتفاقيات القانونية بحثًا عن الأخطاء والت inconsistencies، ويوفر فرصة رائعة للآليّة، نظرًا لروتينيتها وطبيعتها المتطلبة للانتباه إلى التفاصيل الدقيقة في الوثائق الطويلة.

حيث يتطلب عمل المراجعة التركيز على الدقة والتحقق من الاتساق، تبدو "Contract Scrubbing" مهمة تتماشى بشكل طبيعي مع القدرات العامة المتوقع أن تظهرها نماذج اللغة الرائجة مثل التفكير طويل السياق، والتحقق من الاتساق، والتعرف على الكيانات المسماة (NER). ومع ذلك، على الرغم من القيمة الاقتصادية والقدرة على الأتمتة، لم يُجري أي تقييم رسمي حتى الآن لمدى فعالية نماذج اللغة الكبيرة في هذه الوظيفة.

تقدم "ContractScrub" المعيار الأول الذي يهدف إلى تقييم قدرات نماذج اللغة في مراجعة العقود. هذا المعيار يتضمن عقودًا تم صياغتها يدويًا بواسطة محامين ذوي خبرة، تشتمل على مجموعة متنوعة من فئات الأخطاء مثل سوء استخدام المصطلحات المحددة، والإشارات غير الصحيحة، واللغة غير المتسقة. لكن النتائج كانت مفاجئة، إذ لم تتمكن النماذج الرائدة من تحقيق أداء جيد، حيث لم تصل إلا نموذج واحد إلى معدل استرجاع متوسط قدره 0.75، على الرغم من الأداء المتفوق في تقييمات عامة مشابهة. وهذا يعكس حدود النماذج الحالية ويوضح أهمية المعايير المستهدفة والمتخصصة لقياس الأثر الواقعي.

فهل سيؤدي هذا التطور إلى تحسين فعالية مراجعة العقود؟ شاركونا آرائكم في التعليقات!