في عصر تتزايد فيه استخدامات نماذج اللغة الكبيرة (Large Language Models) في مجالات متعددة، بما في ذلك كونهامحاكيات اجتماعية، تأتي دراسة جديدة لتلقي الضوء على ضرورة تقييم هذه النماذج بطرق أكثر عمقًا وموثوقية.

تتعلق هذه الدراسة بمسألة أساسية: كيف يمكن أن يتوافق الناتج المُحاكى مع النتائج البشرية، وما هو الأساس المنطقي وراء هذه النتائج؟ بينما تعتبر المقارنة بين النتائج من الجوانب المهمة للتقييم، فقد أظهرت الأبحاث أن العديد من هذه المحاكيات يمكن أن تطابق الإجابة النهائية دون الاعتماد على الأسباب الصحيحة التي أدت إلى ذلك.

أجرت الدراسة اختبارًا لمفهوم واقعي يتضمن 94 مشاركًا قاموا بتقييم ثلاثة مفاهيم منتج مختلفة، ومن ثم كتابة أسبابهم بشكل مفتوح. تم تحليل هذه الأسباب باستخدام مجموعة من التقنيات حيث تم تصنيف الآراء إلى حالات أسباب موجبة وسالبة، والتي تساعد في التنبؤ بسلوك الشراء.

اشارت النتائج إلى أن الأسباب المستمدة من الرأي البشري حسنت بشكل كبير القدرة على التنبؤ برغبات الشراء، بينما كانت الأسباب المحاكية التي أنتجها نموذج اللغة الكبيرة أكثر هشاشة، وغالبًا ما كانت تستند إلى نفس القواعد التي وضعها المشارك، ما يجعلها أقل دقة في عكس مسار القبول أو الرفض للمفهوم.

تعتبر هذه الدراسة بمثابة إطار تقييم يوفر رؤى جديدة حول كيفية قياس فاعلية المحاكيات الاجتماعية، موضحة أن تقييم الأسباب لا يحدد التأثيرات السببية بشكل مباشر، ولكنه يقدم اختبارًا واضحًا للتوافق بين الأسباب المحددة من قبل المحاكيات والأدلة البشرية.