أصبح الذكاء الاصطناعي (AI) محركًا رئيسيًا في تسريع الاكتشافات العلمية، خاصة من خلال استخدام نماذج اللغة الكبيرة (Large Language Models) مثل GPT-5. ومع ذلك، يظل التقييم الدقيق لقدرة هذه النماذج على إجراء اكتشافات موثوقة تحديًا كبيرًا. في محاولة لسد هذه الفجوة، قدم فريق من الباحثين معيار FIRE-Bench (تقييم إعادة اكتشاف الرؤى الكاملة).

يعمل FIRE-Bench على تقييم أداء الوكلاء من خلال مطالبته بإعادة اكتشاف نتائج مثبتة من أبحاث التعلم الآلي الحديثة. يُعطى الوكلاء سؤال بحثي عام فقط، وعليهم استكشاف الأفكار وتصميم التجارب وتنفيذ التعليمات البرمجية وصياغة الاستنتاجات المدعومة بالأدلة التجريبية.

تظهر النتائج المستخلصة من التجارب التي تم إجراؤها باستخدام معايير FIRE-Bench أن الاكتشافات العلمية الكاملة لا تزال تمثل تحديًا كبيرًا للأنظمة الوكيلة الحالية. حتى أقوى الوكلاء لم يحققوا نجاحًا ملحوظًا في إعادة الاكتشاف، حيث سجلوا نتائج بعيدة عن المستوى المطلوب (<50 F1)، وأظهروا تباينًا كبيرًا في النتائج عبر التجارب، بالإضافة إلى أنماط فشل متكررة في تصميم التجارب وتنفيذها.

يوفر FIRE-Bench إطارًا صارمًا ودايagnostic في قياس التقدم نحو اكتشاف علمي موثوق يقوده الوكلاء، مما يمنح الأمل في تحسين هذه التقنيات لمواجهة التحديات المستقبلية.