مع تنامي استخدام الأنظمة الذكية في المهام القانونية، يصبح من الضروري ضمان دقة واحتساب النتائج بشكل يفي بالمعايير القانونية المعمول بها. في ضوء ذلك، توصلت دراسة حديثة إلى بروتوكول تقييم مبتكر يُعرف باسم "البروتوكول ثنائي القاضي"، حيث يتم توظيف قاضيين لقياس جودة الإجابات ومدى مطابقتها للمعايير القانونية.

يستند هذا البروتوكول إلى نموذج قاضي تقليدي يعتمد نظام تقييم من 0 إلى 10، إلى جانب قاضي ثانٍ يقوم بتطبيق تقييم ثنائي قاسي للترادف الدلالي، مقارنة مع مرجع تم تنقيحه بواسطة البشرية. تم تطبيق هذا النموذج على مهمة مستندة إلى الرؤية، تتمثل في تفسير إشارات المرور البريطانية، والتي تحتوي على مرجع محدد لكل مدخل.

أظهرت النتائج المستندة إلى 4680 تقييمًا تحت سبع مستويات من الرؤية وحالتين مختلفتين للاختناق، ارتباطًا معتدلاً بين القاضيين (معامل ارتباط = 0.644)، مما يكشف عن نمط غير متوازن يؤثر على 8% من جميع التقييمات. في حالات الرؤية العالية، سجلت النتائج القوية نسبة 14.2%، لكن عندما تكون الإجابة مسجلة بالفعل بتقييم فوق 7، كانت أكثر نسب عدم الثقة تتواجد تحت حالات الاختناق.

يستعرض البروتوكول أيضًا تقارب قاضي النماذج اللغوية (LLM) مع حكم القارئ العادي، ما يُبرز فعاليته ودقته. هذه الدراسة لا تقدم فقط بروتوكولًا جديدًا للتقييم، بل تُتيح أيضًا إجراء تحسينات مهمة على أنظمة الذكاء الاصطناعي في سعيها نحو تحقيق العدالة القانونية.

ما رأيكم في هذه الخطوات الجريئة نحو تحسين دقة أنظمة الذكاء الاصطناعي في تحقيق العدالة؟ شاركونا آراءكم في التعليقات!