متى تفشل المستخدمون الاصطناعيون؟ إطار تقييم للردود الاستقصائية لمحاكاة البشر

في عالم متزايد التوجه نحو الذكاء الاصطناعي، أصبحت نماذج اللغات الضخمة (Large Language Models) تستخدم كمستخدمين اصطناعيين، أي بدلاً من المستجيبين البشريين، حيث تُغذي أجوبتها قرارات المنتجات والسياسات والأسواق. لكن السؤال الذي يطرح نفسه هو: متى يكون هذا الاستبدال صحيحًا ومتى يفشل؟

تناول الباحثون هذه الإشكالية عبر تطوير إطار تقييم مخصص يتضمن بروتوكول موحد تم تطبيقه على أربعة نماذج تمتلك قدرات تتراوح من 8 مليار عنصر إلى حدود متقدمة جدًا. تم تسليط الضوء على البيانات الحقيقية من استجابات المواطنين في الولايات المتحدة (المسح الاجتماعي العام) وقيم الشعوب عبر الثقافات (مسح القيم العالمية).

من خلال مقارنة كل نموذج مع مجموعة من المعايير غير المرتبطة بنماذج اللغات الضخمة، اكتشف الباحثون حالتين من الفشل المتكرر. أولاً، لم تتفوق أي من النماذج على أقوى المعايير حين تم تقييم الاستجابات الفردية، حيث قدمت النتائج الخاصة بالقيم الثقافية أداءً ضعيفًا.

ثانيًا، تعاني النماذج من التعميم المفرط حول المعلومات الديموغرافية، حيث تعتبر الهوية أكثر تأثيرًا على المواقف من الواقع، وهو تحريف موجود تقريبًا في جميع مجموعات الأسئلة. وغني عن القول أن هذه الإخفاقات لم يتم تصحيحها من خلال استخدام نماذج أكبر أو أكثر قدرة.

وبالانتقال إلى تحليل تأثير القرار، تظهر النتائج أن النماذج تزيد الفجوة بين الشرائح المستهدفة بمعدل يتراوح بين الضعف إلى أربعة أضعاف، مما قد يوجه الفريق نحو شريحة خاطئة في نصف حالات الولايات المتحدة ومعظم الحالات عبر الثقافات.

بناءً على ذلك، تم توفير هذا الإطار التقييمي الجديد ونتائج المعايير عبر المجالات حسب الطلب، ليتمكن الفرق من تحديد متى يمكن الاعتماد على الأدلة المقدمة من المستخدمين الاصطناعيين لدعم اتخاذ القرار ومتى يكون ذلك غير آمن.