في عالم يسعى دائماً للابتكار واستخدام التكنولوجيا بشكل أكثر فاعلية، تبرز التساؤلات حول إمكانية استخدام نماذج اللغة الكبرى (LLMs) كبدائل Synthetic Survey Respondents في الدراسات الاستقصائية. في دراسة جديدة، تم تناول هذا الموضوع عبر تدقيق نفسي يكشف النقاب عن العديد من التحديات.

في هذه الدراسة، تم الاعتماد على مجموعة بيانات من علم النفس التنظيمي في ليتوانيا تشمل 263 موظفاً. استخدم الباحثون مجموعة مكونة من 37 نموذجاً لغوياً تغطي علامات تجارية معروفة مثل OpenAI وAnthropic وGoogle. تم اختبار هذه النماذج على مجموعة متنوعة من المعايير، بدءاً من الهيكل الكامن لعلاقات البيانات وحتى التأثيرات الديموغرافية.

تم قياس النتائج باستخدام ما يسمى بمؤشر التشابه النفسي (Psychometric Similarity Score - PSS) مقارنةً مع بيانات بشرية حقيقية. النتائج كانت مفاجئة، حيث أظهرت أن LLMs تحتفظ بالاتجاهات النوعية للعلاقات النفسية البشرية، ولكنها لم تضاهي دقة البيانات الحقيقية. وتبين أنها أكثر تشابهاً مع نفسها بالمقارنة مع البشر، مما يشير إلى الحاجة لطرق تقييم جديدة.

علاوة على ذلك، تكشف نتائج التحليل أن النماذج اللغوية الكبرى تفتقر إلى بعض عوامل التنبؤ الأساسية عند تطبيقها على بيانات بشرية خارجية. ولكن الأهم من ذلك، أظهرت النتائج تأثيرات دراسات جدوى وكيانات اقتصادية كانت تتجاوز التأثيرات الناتجة عن الاختلافات في الجنس أو الدور أو المستوى التعليمي.

بناءً على هذه الدراسات، يتضح أن نماذج اللغة الكبرى ليست بديلاً مباشراً موثوقاً للبيانات البشرية، مما يستدعي التحقق والتقييم الدقيق قبل استخدامها في الأبحاث الاجتماعية.

إذاً، هل تعتقد أنه يجب أن نستمر في استخدام LLMs في الأبحاث، على الرغم من هذه القيود؟ شاركونا آرائكم في التعليقات!