في عالم الذكاء الاصطناعي المعاصر، أصبح من المعتاد استخدام نماذج اللغة الكبيرة (Large Language Models, LLMs) لإجراء تقييمات ذات طابع اجتماعي، ولكن تساؤلات عديدة تحوم حول دقتها في هذا المجال. في دراسة جديدة مثيرة، تم التحقيق فيما إذا كانت هذه النماذج قادرة على تقييم الجاذبية الاجتماعية بالاستناد إلى ملفات شخصية مبنية على عشرة مفاهيم نفسية وعلاقاتية، مُنظمة في ثلاثة مستويات: الجاذبية الاجتماعية، المزيج الاجتماعي، وعدم الجاذبية الاجتماعية.

تناولت الدراسة تقييمات LLMs من خلال دراستين، وتمت المقارنة النتائج مع أحكام البشر في دراسة ثالثة. في الدراسة الأولى، تم إجراء 34 نموذجًا لـ LLM بتقييم 12 ملفًا شخصيًا عبر ثلاث جولات متكررة. أظهرت النتائج استقرارًا قويًا بين النماذج، مع ترتيب ثلاثي متناسق وتوافق مرتفع في ترتيب الملفات الشخصية.

في الدراسة الثانية، تم فحص الحساسية لتقديم الجنس باستخدام ستة أزواج متطابقة من الأسماء والضمائر، ووجدت الدراسة أنه لا توجد تأثيرات معنوية. بينما في الدراسة الثالثة، قام 198 مشاركًا بشريًا بتقييم الملفات الشخصية الستة، مما أظهر أن تقييمات البشر تعيد إنتاج الهيكل الثلاثي وتتابع ترتيب الملفات الشخصية الذي يتفق مع LLMs.

ومع ذلك، وجد أن LLMs قامت بتقييم الملفات الشخصية الجذابة بشكل أكثر إيجابية، والملفات غير الجذابة بشكل أكثر سلبية مقارنة بتقييمات البشر. وعلى الرغم من ذلك، لم يظهر أي من المجموعتين تأثيرًا معنويًا ملحوظًا لتقديم الجنس.