نماذج اللغات الضخمة: ثورة في جمع بيانات الاستطلاعات الاجتماعية!

تُعتبر الاستطلاعات المعتمدة على الأسئلة أداة أساسية في أبحاث العلوم الاجتماعية وصنع السياسات العامة. ومع ذلك، فإن الأساليب التقليدية لجمع البيانات غالباً ما تكون مكلفة، تستغرق وقتاً طويلاً، وتفتقر إلى القدرة على التوسع. في هذا السياق، تظهر نماذج اللغات الضخمة (LLMs) كأداة واعدة لتحسين هذه الجوانب.

في دراسة حديثة، تم استكشاف استخدام هذه النماذج كاستجابات افتراضية في الاستطلاعات، لكن القليل منها تناول نطاقات متعددة أو وظيفية موحدة. لذا، قدم الباحثون نهجين جديدين يُعرفان باسم "محاكاة الخصائص الجزئية" (Partial Attribute Simulation - PAS) و"محاكاة الخصائص الكاملة" (Full Attribute Simulation - FAS). تركز PAS على توقع الخصائص المفقودة من ملفات تعريف المستجيبين غير المكتملة، بينما تتناول FAS إنشاء مجموعات بيانات اصطناعية كاملة من دون سياق أو في ظروف سياقية معززة.

تم تصميم هاتين الطريقتين كأدوات تشخيصية واستكشافية بدلاً من أن تكون بدائل لجمع البيانات البشري. قام الباحثون بإعداد معيار LLM-S^3 الذي يضم 11 مجموعة بيانات حقيقية عبر أربعة مجالات اجتماعية، واختبروا أداء نماذج مثل GPT-3.5 وLLaMA 3.0/3.1 تحت ظروف الحد الأدنى من التعلم وبدونه.

تظهر نتائج التقييم اتجاهات أدائية ثابتة عبر عائلات النماذج، وتسلط الضوء على التحديات المتعلقة بإنتاج المخرجات المنظمة، بالإضافة إلى كيفية تأثير التصميم السياقي والأسئلة على موثوقية المحاكاة. تتوفر الشفرة ومجموعة البيانات للباحثين المهتمين في هذا المجال عبر جيثب.