في السنوات الأخيرة، أصبحت نماذج اللغات الضخمة (LLMs) جزءًا أساسيًا من تقنيات الذكاء الاصطناعي. ومع ذلك، تظل قدرتها على الاستنتاج في مهام قانونية معقدة، مثل التنبؤ بقضايا قانونية، موضوعًا يرتبط بعدد من التساؤلات. قدمت دراسة جديدة تحليلًا لحالة هذه النماذج من خلال استخدام قضايا المحكمة الأوروبية لحقوق الإنسان (ECtHR) كحقل اختبار.

تمت دراسة نموذج OpenAI GPT 5.4، الذي يُعتبر من الطراز الأول في فئة نماذج اللغات الضخمة، بهدف تقييم أدائه في الاستنتاج القانوني. تم اختبار استراتيجيات دعوة مختلفة، بعضها أكثر توجيهًا وتضمينًا لمعايير الاستنتاج القانوني، حيث أسفر هذا الاختبار عن نتائج ملحوظة.

أظهرت النتائج أن النموذج المُختبر لم يُحقق الأداء المثالي في الاستنتاج القانوني، حيث قدم تحليلات ذات بنية مكتملة لكنها عميقة سطحياً. وعند تقييم ردود النموذج بواسطة مختصين، وجدت الأبحاث أن القضاة الآليين (LLM-as-a-Judge) كانوا متسقين داخلياً، لكنهم قد لا يتطابقون بدقة مع ملاحظات المراجعين المدربين، مما يعني أن هذه النماذج غير قادرة على استبدال التقييم البشري بشكل موثوق.

أخيراً، توصلت الدراسة إلى أن تعزيز استجابة النموذج من خلال دعوات مدروسة لم يُحسن دقة التوقعات بالمقارنة مع الأساليب الأخرى. وبذلك، يوصي الباحثون بتجنب الاعتماد الكلي على تقييمات نماذج اللغات الضخمة، وينبغي أن يتوافر التقييم البشري كعنصر مكمل لضمان جودة الاستنتاج.