في عالم القانون، يلعب الدقة دوراً حاسماً في اتخاذ القرارات. من هنا، يبرز البحث الأخير الذي أجرته مجموعة من العلماء لمعرفة مدى قدرة نماذج الذكاء الاصطناعي، وتحديداً نماذج اللغات الضخمة (Large Language Models)، على تقييم الأجوبة القانونية من دون الاعتماد فقط على المراجع القانونية.

عادةً ما تقوم المُؤسسات القانونية بتقييم الإجابات النهائية على أنها صحيحة، حتى إذا كانت تلك الإجابات تفتقر إلى الاستشهادات القانونية الموثوقة. لكن الدراسة الأخيرة اختبرت ما إذا كانت صحة الأجوبة يمكن أن تمثل مؤشراً على قوة هذه الاستشهادات.

على مدى 238 سؤالاً من امتحانات النقابات القانونية في تايوان، ظهرت لدى أربعة من نماذج الذكاء الاصطناعي علامات على المراجع القانونية، على الرغم من عدم طلب تلك المراجع في الأسئلة. ولأن كل سؤال يحتوي على حكم موثّق، استطاعت الدراسة تقييم سلامة الإجابات ومصداقية الاستشهادات بشكل مشترك.

خلصت النتائج إلى أن 24.0% - 42.4% من الإجابات الصحيحة لم تُدرج المراجع القانونية، في حين أن 15.2% - 21.7% من الإجابات غير الصحيحة استندت إلى مراجع صحيحة. بهذه الطريقة، يمكننا أن نرى كيف يمكن أن يحدث تباين بين صحة الإجابة والاقتباس.

هذه الفروق الأساسية تسلط الضوء على ضرورة تطوير آلية تقييم مزدوجة تجمع بين الأجوبة والمراجع القانونية، مما يعزز من جودة تقييمات الامتحانات القانونية. هل تتطلع المؤسسات القانونية إلى دمج هذه الاستراتيجيات لتحسين الأداء القانوني؟