تعتبر فكرة بناء الوكلاء الذكيين باستخدام نماذج اللغة الكبيرة (LLMs) واحدة من الابتكارات المثيرة في عالم الذكاء الاصطناعي. وهذا الاتجاه يشهد اهتمامًا متزايدًا، حيث يعتمد الاكتشاف العلمي بشكل أساسي على كشف العلاقات السببية من الملاحظات. لذا، فإن قدرة التفكير السببي، التي تعني التمييز بين السبب والنتيجة والتعرف على التحيزات الخفية، تمثل عنصرًا أساسيًا لهذه الوكلاء.

على الرغم من وجود العديد من المؤشرات المتاحة لوكلاء الذكاء الاصطناعي، إلا أنه لم يتم تطوير أي منها لتضمين تحديات مثل التحيز في الاختيار، وأخطاء القياس، والكونفوندات المخفية، التي تعتبر شائعة في الاكتشاف العلمي الواقعي. لذلك، تم تقديم CausalGame، وهو معيار جديد يقيم قدرات التفكير السببي لوكلاء نماذج اللغة الكبيرة من خلال لعب ألعاب تفاعلية.

يطلب CausalGame من الوكلاء تصميم بروتوكولات تجريبية، وجمع بيانات الملاحظة، واستنتاج الحل النهائي مع إعداد تقرير تفسير. تم تصميم 14 سيناريو في CausalGame لتعكس تحديات الاكتشاف العلمي الواقعية، تشمل التحيز في الاختيار، وأخطاء القياس، والكونفوندات المخفية.

ومع تطبيق CausalGame على 30 نموذجًا من نماذج اللغة الكبيرة، لم يتمكن أي منها من إظهار تفكير سببي موثوق؛ إذ وصل أعلى نموذج إلى 68.0% من الكفاءة مقارنةً بالأداء التحليلي المثالي الذي يتراوح بين 78-85%، فيما حصلت فقط 5-7% من الجلسات على اعتمادات ضمن معايير التفكير السببي. يمثل CausalGame منصة اختبار قابلة للتوسع ومُControlled لتقييم التفكير السببي لوكلاء الذكاء الاصطناعي بشكل فعّال.