في عالم يتطور بشكل سريع نحو دمج الذكاء الاصطناعي في جميع مجالات الحياة، يأتي مشروع LP-Eval ليكون بمثابة قفزة نوعية في فهم كيفية توليد الاقتراحات القانونية. تستند هذه الدراسة التي نُشرت على arXiv إلى تحليل دقيق لعملية التوليد التلقائي للاقتراحات القانونية باستخدام نماذج اللغة الكبيرة (Large Language Models) من قرارات محكمة العدل التابعة للاتحاد الأوروبي.

يقدم المشروع LP-Eval معيارًا لتقييم الاقتراحات القانونية الذي تم تصميمه بشكل مشترك مع خبراء قانونيين، ويتكون من ثلاث خطوات رئيسية. يتمكن هذا المعيار من تفكيك جودة الاقتراحات القانونية إلى أبعاد رسمية وأخرى ذات مضمون، مما يسهل تقييمها بدقة.

عبر هذا المعيار، تم إطلاق مجموعة بيانات تضم تقييمات خبيرين لـ 100 اقتراح قانوني تم توليدها بواسطة نماذج اللغة. وقد أظهرت النتائج أن هذه النماذج قادرة على إنتاج اقتراحات ذات جودة عالية وتكوين صحيح، بينما كشفت تقييمات الخبراء أن الاقتراحات المستندة إلى قضايا راسخة كانت أعلى جودة من تلك المولدة من القضايا الأخيرة.

لزيادة فعالية هذه النماذج، تم اختبار قدرتها كـ "مقيّمين"، حيث أظهرت النتائج أن الأحكام المستندة إلى معايير LP-Eval تتماشى بشكل أكبر مع التقييمات الخبيرة مقارنةً بالتقييمات العامة المباشرة. ومع ذلك، بقيت حساسيتها محدودة تجاه التفاصيل الدقيقة التي يلتقطها الخبراء البشريون.

هذه الخطوة نحو تحسين إنتاج الاقتراحات القانونية قد تعيد تشكيل كيفية عمل المحامين والباحثين في مجال القانون، مما يتيح لهم أدوات أكثر دقة وسرعة في التعامل مع النصوص القانونية.