في العصر الحديث، أصبحت نماذج اللغة الضخمة (Large Language Models) تلعب دوراً مهماً في محاكاة استجابات الاستبيانات، ولكن هل يمكن الاعتماد عليها تماماً؟ إن استخدام البيانات الاصطناعية قد لا يتماشى مع الواقع، مما يسبب استنتاجات غير دقيقة. لذا، تم تطوير إطار عمل شامل يُحول الاستجابات المحاكية من نماذج اللغة إلى مجموعات ثقة موثوقة.

واحدة من النقاط الرئيسية في هذا البحث هي طريقة تقدير عدم اليقين الناشئ عن عدم توافق البشر مع نماذج اللغة الضخمة. وقد تم تحديد عدد الاستجابات المحاكية كاختيار تصميم رئيسي؛ حيث إن العدد الزائد من الاستجابات يعطي مجموعات ضيقة جداً مع تغطية ضعيفة، في حين أن العدد القليل يؤدي إلى مجموعات واسعة تتأثر بالضوضاء العشوائية.

يتضمن الحل المُقترح نهجاً مدفوعاً بالبيانات يعمل على اختيار حجم العينة لمحاكاة الاستجابات بشكل يتماشى مع تغطية متوسطة موثوقة، بغض النظر عن دقة المحاكاة أو طريقة بناء مجموعة الثقة. وبالإضافة إلى ذلك، يبين حجم العينة المختار حجم السكان البشري الفعّال الذي يمكن أن تمثله نموذج اللغة، مما يوفر مقياساً كميًّا لدقة المحاكاة.

أظهرت التجارب التي أُجريت على مجموعات بيانات استبيانات حقيقية تنوعاً في معدل دقة محاكاة الاستجابات من قبل نماذج اللغة الضخمة في مجالات مختلفة، مما يفتح المجال لمزيد من البحث والتطوير في هذا المجال الحيوي.