في عالم البحث الاجتماعي الحديث، بدأت نماذج اللغة الكبرى (Large Language Models) تلعب دورًا محوريًا من خلال إنتاج مجموعات بيانات اصطناعية تُعرف بـ "نماذج السيليكون". تهدف هذه المجموعات إلى تقليد ردود الأفعال البشرية، إلا أن إنتاجها يتطلب اتخاذ العديد من الخيارات التحليلية المعقدة، مثل اختيار النموذج، معايير العينة، تنسيق المحفزات، بالإضافة إلى كمية المعلومات الديموغرافية أو السياقية المقدمة.

في دراستين متميزتين، تمت دراسة تأثير هذه الخيارات على التداخل بين نماذج السيليكون وبيانات البشر. في الدراسة الأولى، تم إنشاء 252 تكوينًا لنماذج السيليكون باستخدام مقاييس اجتماعية نفسية لتقييم ما إذا كانت هذه التكوينات تعكس ترتيب المشاركين، توزيعات الاستجابة، والترابط بين المقاييس. وقد أظهرت النتائج تباينًا ملحوظًا في جميع المعايير الثلاثة، حيث أن التكوينات التي كانت فعالة في بُعد معين غالبًا ما كانت غير فعالة في آخر.

أما في الدراسة الثانية، فقد تم توسيع هذا التحليل على حالة استخدام منشورة لنماذج السيليكون، مما أدى إلى إعادة تحليل دراسة أجراها Argyle وزملاؤه في 2023 باستخدام 66 تكوينًا بديلًا. وقد كانت الترابطات بين هياكل الارتباط البشري ونماذج السيليكون متباينة بشكل كبير عبر التكوينات المختلفة بما يتراوح من 0.23 إلى 0.84.

تشير هذه النتائج إلى أن خيارات التحليل المختلفة يمكن أن تؤثر بشكل كبير على استنتاجات الباحثين حول دقة نموذج السيليكون. بناءً على ذلك، يُلزم بمزيد من الانتباه للتحديات المرتبطة بمرونة التحليل عند استخدام نماذج السيليكون، ويجب على الباحثين اعتماد استراتيجيات تقلل من هذه التهديدات.