قياس وتقليل التوافق الزائد لنماذج اللغات الضخمة في محاكم القانون الجنائي متعددة اللغات

تظهر نماذج اللغات الضخمة (LLMs) إمكانيات واعدة في مجال القانون، لكنها تثير العديد من النقاشات حول موثوقيتها وأخطاءها المحتملة. حيث تبرز محكمة الاتحاد الفيدرالي السويسرية كحالة فريدة تستفيد من نماذج صغيرة على خوادم محلية لتقديم ترجمات أولية وملخصات قصيرة بأربع لغات رسمية. ولكن، عندما يتعلق الأمر بالقانون الجنائي، يكون التحدي أكبر. فالحالات القانونية مع وصف مفصل للجرائم العنيفة والجنسية يمكن أن تضعف سلامة العمل الشرعي للموظفين بسبب ظهور تحذيرات أو رفضات من النموذج، وهي الظاهرة المعروفة باسم التوافق الزائد (over-alignment).

لمعالجة هذا التحدي، تم تقديم معيار جديد يسمى TF-RefusalBench، يسعى لتقييم هذا التوافق الزائد عبر ترجمة ملخصات قانونية متعددة اللغات، مستندًا إلى قرارات من محكمة سويسرية عليا. يحتوي TF-RefusalBench على 5,200 عبارة تغطي اللغات الفرنسية، الألمانية، الإيطالية، والإنجليزية، والتي تمثل مطالبات شائعة تعد مرشحة للاحتواء على رفضات.

تظهر النتائج أن التوافق الزائد هو ظاهرة متعددة الأبعاد، تتأثر بكل من النموذج المستخدم ولغة النص، وأن تقييمها يتطلب النظر في تأثير التحذيرات على مصداقية المهمة القانونية. بعد ذلك، تقيم الدراسة الأساليب التي يمكن أن تمكّن نماذج اللغات الضخمة للاستخدام في مهام القانون الجنائي، حيث تشير النتائج إلى أن التوجيه يمكن أن يكون فعّالاً، ولكن إزالة التحذيرات (abliteration) تقلل من الرفض مع تأثير ضئيل على أداء المهمة.

هل تعتقد أن يمكن لنماذج اللغة أن تعزز الدقة في المحاكم أم أن هناك مخاطر كبيرة تتعلق بها؟ شاركونا آراءكم في التعليقات.