القضاة غير المستقرين: اختبار استقرار المعرفة تحت الضغط والصمت

تتطور نماذج الذكاء الاصطناعي بشكل مستمر لتصبح جزءًا أساسيًا من تقييم النماذج والدرجات عبر الإنترنت. ومع ذلك، فإن تقييم القضاة يعتمد تقليديًا على دقة الأحكام فيما يطلق عليه 'البيانات الذهبية'، مما يثير السؤال: هل هذه الأحكام مستقرة أم لا؟ في بحثنا الأخير، تم تقديم إطار عمل جديد يُعرف بإطار الويلج (Wiggle Framework) الذي يختبر استقرار معرفة قضاة نماذج اللغات الضخمة (Large Language Models) تحت ظروف مختلفة.

يُحلل إطار الويلج استقرار التقييم عبر ثلاثة أبعاد رئيسية:
1. **الاستقرار الميكانيكي** (Mechanical Consistency): هل يمكن للقاضي أن يحافظ على حكمه عند إعادة طرح السؤال أو إعادة تشكيله؟
2. **الإيمان الفردي** (Single-turn Conviction): هل يظل الحكم ثابتًا تحت تحدٍ واحد فقط؟
3. **الاستمرارية في التحدي** (Multi-turn Persistence): كيف يتجاوب الحكم تحت ضغط مستمر أو متكيف؟

من خلال تطبيق هذا الإطار، تمت دراسة تسعة نماذج متقدمة عبر أربعة عشر مهمة قضائية تشمل السلامة، السمية، اكتشاف الكتابة بواسطة الذكاء الاصطناعي، وتقييم استجابة سياسية. المفاجأة كانت أن كل نموذج شهد تقلبات كبيرة في الأحكام، حيث كانت أحكامه تتغير بنسبة تتراوح بين 25% إلى 71% تحت ضغط ثابت، و62% إلى 91% تحت ضغط عدائي من نماذج لغة أخرى.

المثير للدهشة، أن الضغوط التي تنجح في تغيير حكم القاضي تكون في الغالب مضرّة بالنسبة للحقيقة الأساسية. من المهم أن نلاحظ أن فهم التحولات في الأبعاد المذكورة يُمكّننا من استباق الأبعاد الأكثر قابلية للتغيير.

في المجمل، يوفر هذا البحث مقارنة فريدة بين أنواع مختلفة من الاختبارات في السياق القضائي، مما يساعد على فهم التحديات التي تواجه نماذج الذكاء الاصطناعي في صنع القرار.