تشير العديد من الدراسات إلى أن اتفاق نماذج اللغة الكبيرة (Large Language Models) مع تقييمات الإنسان يعتبر معيارًا شائعًا لتقييم توافق هذه النماذج مع الأحكام البشرية. لكن ما يكشفه البحث الأخير يبشر بفتح الأعين على نقطة مهمة: الاتفاق في النتائج النهائية لا يعني بالضرورة أن كل من البشر والنماذج يستخدمون نفس الأسس الأخلاقية.

فقد أظهرت الدراسة التي اعتمدت على مجموعة بيانات من 500 عنصر مستمد من الأخلاقيات (ETHICS) عبر خمسة مجالات، أن الرئيسيات المنطقية التي يعتمدها كل من البشر والنماذج قد تفسر هذه الظاهرة. فبينما يمكن لعميلين الوصول إلى نفس الحكم، قد يكون كل منهما يعتمد على مبادئ أو افتراضات سياقية مختلفة.

استنادًا إلى بيانات تم جمعها من مجموعة مختارة من التعليقات البشرية ونماذج اللغة، تناولت الدراسة كيفية اختلاف الدعم في الحجج حتى عند تبدو النتائج النهائية متطابقة. وقد أظهر التحليل على مستوى الحجج تناقضات منهجية بين الأسس الأخلاقية التي عبر عنها المعلقون البشريون والنماذج.

فعلى سبيل المثال، حتى عندما كانت تقييمات النماذج تتوافق مع أغلبية تقييمات المعلقين البشر، كانت تتم إعادة توزيع الانتباه بين فئات مختلفة مثل الأذى، الاحترام، الوفاء بالوعود، العدالة، استحقاق، وملاءمة الأعذار. وبالتالي، تُظهر النتائج أن الاتفاق لا ينبغي أن يُعامل كمعادل للتوافق، مما يعكس ضرورة وجود تحليلات إضافية تتناول الأسباب والمبادئ والأولويات الأخلاقية المعبّر عنها في أحكام النماذج.

ومع تزايد الاعتماد على هذه الأنظمة في اتخاذ القرارات المهمة، يبرز تساؤل حول مصداقيتها ودقتها. هل نحتاج إلى معايير جديدة لتقييم الأخلاقيات في الذكاء الاصطناعي؟ الانتقادات تشير إلى أهمية الغوص أعمق في تحليل الأحكام بدلاً من الاعتماد على توافقات سطحية.