في عالم الذكاء الاصطناعي، تعتمد نماذج اللغات الضخمة (LLMs) بشكل متزايد على تقنيات الحكم لإصدار قرارات تشكل التزامات للنظام. ولكن ماذا يحدث عندما تواجه هذه النماذج أدلة مختلطة، تحمل تناقضات بين المعلومات الداعمة والمناهضة؟ هنا تظهر ظاهرة جديدة نطلق عليها "تجاوز الشيريبك" (Cherry-pick Override) - وهي عبارة عن فشل خطير عندما يخرج القضاة عن التوجيهات الرسمية ويدلون بأحكام ذات طبيعة توجيهية غير مصرح بها.

في دراسة حديثة، تم تعريف هذه الظاهرة ضمن عقد عمل محدد، وتم توثيقها وفق بروتوكول تشخيصي متميز. وقد أظهرت البيانات من مجموعة AVeriTeC التي تضم 150 حالة تعارض أن القضاة الذين اتخذوا قرارات ثلاثية الخيارات أصدروا حكماً توجيهياً في أكثر من 84% من الحالات ذات الأدلة المختلطة. عندما يتضمن ذلك تصويت الأغلبية بين القضاة الثلاثة، يعزز ذلك التعرف على الاتجاه في الحالات المتعارضة حيث ارتفعت النسبة من 84% إلى 88.7%.

ومع ذلك، لا يمكن الاعتماد دائماً على التقنيات الشائعة لإصلاح هذه الظاهرة. على سبيل المثال، تجميع القضاة في لجنة قد يؤدي إلى كبت الآراء المخالفة، مما يعقد الأمور بشكل أكبر. كما أن عدم توفر الفصل بين التوليد والالتزام في إصدار القرارات يؤثر بشكل ملحوظ على دقة النموذج. للاستجابة لهذه التحديات، نجد أنه من الضروري إنشاء طبقة تحكم خارجية تقوم بفصل عملية إصدار الأحكام عن سلطة الالتزام.

الخطوات المطلوبة قد تتضمن استخدام الأدلة الهيكلية والثقة كقنوات متوازية لضمان عدم الانحياز إلى اتجاه معين.

في نهاية المطاف، تفتح هذه الدراسة آفاقاً جديدة للنقاش حول كيفية تحسين نماذج القضاة في البيئات المدعومة بالذكاء الاصطناعي. فما رأيكم في هذه التطورات؟ شاركونا آراءكم وتجاربكم في التعليقات!