تشير الأبحاث الأخيرة إلى أن نجاح نماذج اللغات الكبرى (LLMs) في الامتحانات الطبية قد خلق توقعات مبالغ فيها فيما يتعلق بكفاءتها القانونية. ولكن في حين أن الأطباء يعتمدون على أدلة تجريبية ثابتة، يتعامل القانون مع الحقائق بشكل مختلف، حيث تعتمد على الولاية القضائية والزمن والمصادر المعترف بها.

في هذا السياق، تم تقديم إطار عمل تشخيصي مقارن لتقييم القدرة القانونية مقارنةً بأسس طبية، مع تحليل الأداء في أربع محاور رئيسية: استرجاع المعرفة، والتمكين، والثقة، والصلابة. تكشف النتائج عن تباين حاد بين المجالات عند تطبيقها على معايير جديدة تأخذ في الاعتبار المعايير الزمنية والعلاقات النمطية.

أظهرت النتائج أن نماذج اللغات الكبرى (LLMs) الطبية تستفيد بشكل موثوق من المصادر المعتمدة، بينما تواجه نماذج القانون صعوبة في تقييم متى تكون الاقتباسات المسترجعة مفيدة أو مضللة. تظهر هذه النماذج ثقة مفرطة في السياقات المتقلبة وتكون حساسة للعناصر السطحية.

تؤكد هذه الدراسات أن نماذج اللغات الكبرى تعالج القانون كنصوص غير منظمة بدلاً من كونها سوابق قانونية، مما يكشف عن ميل للاعتماد المفرط على معلومات موثوقة لكن خاطئة عندما تتعارض المراجع الخارجية مع المعرفة الداخلية للنموذج.