في عالم الذكاء الاصطناعي ونماذج اللغات الضخمة (Large Language Models)، يبرز سؤال مهم حول العدالة: كيف نقيم فعلاً مدى عدالة هذه النماذج؟ الحلول التقليدية تعتمد غالباً على نتائج الاختبارات القياسية، ولكن بحثاً حديثاً يغير قواعد اللعبة.

تظهر الأبحاث الجديدة أن اختبارات القواعد القياسية يمكن أن تكون غير موثوقة وهي ليست الطريقة المثلى لتقييم العدالة. تكشف الدراسة عن أن خيارات بناء التوجيه السطحية، رغم عدم ارتباطها مباشرة بمسألة العدالة، تشكل غالبية اختلاف النتائج. مما يؤدي إلى تغييرات كبيرة في استنتاجات العدالة وتباين في تصنيفات النماذج.

لتجاوز هذه العوائق، تم تطوير إطار MAC-Fairness، وهو إطار للمحادثات متعددة الوكلاء يجمع بين عوامل التغيير المُتحكم فيها في حوارات متعددة الجولات لتقييم السلوك الفعلي. يعكف الباحثون على دراسة كيفية تغير سلوك النماذج عند تغيير الهوية كجزء من التفاعل الطبيعي بين الوكلاء.

عوضاً عن معالجة أسئلة الاختبارات القياسية كأداة تقييم، يستخدم الباحثون هذه الأسئلة كأفكار لتنظيم المحادثات، مما يتيح لهم تقييم سلوك النماذج من منظورين: مدى ثبات المواقف (position persistence) ومدى الاستجابة للأقران (peer receptiveness).

لقد تم تحليل أكثر من 8 مليون نص محادثة عبر نماذج متعددة وتشكيلات الهوية، مما يوفر توقيعات سلوكية مستقرة للنماذج تتجاوز القياسات التقليدية. هذه النتائج تعيد تشكيل طريقة تفكيرنا حول تقييم العدالة في نماذج الذكاء الاصطناعي.

إذا كنت مهتماً بتفاصيل هذا البحث الثوري وكيف يعيد تشكيل مشهد الذكاء الاصطناعي، فلا تتردد في التعليق أدناه. ما رأيكم في ضرورة اعتماد تقييمات سلوكية حقيقية لنماذج الذكاء الاصطناعي؟ شاركونا آرائكم!