في عالم البحث القانوني، تزداد أهمية استخدام النماذج اللغوية الضخمة (Large Language Models) نظرًا لقدرتها على إنتاج نصوص تبدو مقنعة. لكن ما الذي يحدث عندما تكون المعلومات المولدة غير مدعومة بالمصادر الصحيحة؟ هذا هو السؤال الذي أجاب عليه الباحثون من خلال تقديم معيار جديد يُعرف باسم PARCEL.

يهدف PARCEL إلى فحص إذا كانت الادعاءات القانونية مثبتة من قبل المصدر الموثوق به. اعتمد الباحثون على قرارات حديثة من محكمة الاستئناف في ولاية نيويورك لبناء مجموعة بيانات تتكون من 3,396 ادعاء مُحاط بأسلوب استشهاد (parenthetical-style) مُصنفة إلى مدعومة، مرفوضة، أو غير موجودة.

طرحت هذه المهمة كمسألة استدلال طبيعي ثلاثي (three-way natural language inference) وتم تقييم عدة نماذج لغوية رائدة في إعداد عدم المعرفة (zero-shot setting). رغم أن النماذج الأقوى قد حققت دقة تصل إلى 0.97، إلا أن النتائج تكشف عن ضعف مهم: لا تزال النماذج تحدد بعض الادعاءات غير المدعومة على أنها مدعومة، حتى عند تقديم نص الرأي بالكامل.

تظهر النتائج أن الكشف عن نقص الدعم أصعب بكثير من تحديد التناقض المباشر، فيما تُعتبر الاستشهادات المزيفة ولكن المقنعة الأكثر تأثيرًا على الأداء. من خلال إتاحة هذا المعيار، يوفر PARCEL أداة عملية لاختبار أسس الادعاءات القانونية في أنظمة الاسترجاع (RAG) القانونية، مما يسهم في تعزيز الدقة والموثوقية في مجال البحث القانوني.