في عالم الذكاء الاصطناعي، حيث تتسارع الخطوات نحو الابتكار والاستخدام الفعّال، يقدم ACED-BENCH معيارًا جديدًا ومثيرًا لتقييم نماذج اللغات الضخمة (LLMs) ودورها كمساعدين علميين. ولا يخفى على أحد أن هذه النماذج تحظى بشعبية متزايدة، لكن هل تساءلت يومًا كيف يمكن تقييم قدرتها على التحقيق في أنظمة معقدة بدلاً من مجرد الإجابة على استفسارات؟

يمثل ACED-BENCH (Active Causal Evidence and Decision Benchmark) حلًا مبتكرًا يحقق هذه المتطلبات. يعتمد المعيار على فكرة فصل السطح العلمي القابل للقراءة عن العالم السببي الرسمي. حيث تقوم نماذج اللغات الضخمة بتوليد سيناريوهات بلغة طبيعية ونصوص للمهام، بينما تحدد نماذج الرسوم البيانية الاحتمالية المخفية (PGM) القاعدة السببية، وعملية توليد البيانات، ودلالات التدخل، وعمليات التحقق من الصحة.

يتكون ACED-CORE من 180 مهمة، تتراوح بين أسئلة تتعلق بأصل ونسب الأدلة السببية، ومهام اتخاذ القرار القائم على الأدلة. كما يقدم ACED-QUAL فحصًا مؤلفًا من 150 سؤال يعود إجابته بنعم أم لا، مما يوفر وسيلة للتحقق من كفاءة الوكلاء في استخدام هذا المعيار.

تظهر النتائج أن الوكلاء يواجهون صعوبة في اتخاذ قرارات صحيحة، إما بسبب اختياراتهم الخاطئة للتدخلات أو فقدان الأدلة المهمة. لذا، فإن النتائج تشير إلى أهمية وجود دعم صريح في تصميم التجارب، والحفاظ على الأدلة، والالتزام بالإجابات.

في النهاية، يُسهم ACED-BENCH في فهم كيفية تطوير نماذج الذكاء الاصطناعي لتصبح مساعدين علميين موثوقين، مما يفتح إمكانيات جديدة في هذا المجال.