في عالم الذكاء الاصطناعي المتسارع، تُعتبر نماذج اللغة (Language Models) وسيلة قوية للتفاعل وفهم البيانات. ومع ذلك، يظل التحدي الأكبر هو القدرة على تطبيق هذه التكنولوجيا في مجالات تتطلب تحليلًا علميًا معقدًا. من هنا برزت أداة جديدة تحت مسمى ​​Collider-Bench، التي تهدف إلى تقييم كفاءة وكلاء نماذج اللغة في إعادة إنتاج تحليلات تجريبية من مصادم الهادرونات الكبير (Large Hadron Collider)​.

تسعى Collider-Bench إلى سد الفجوة بين القدرات التكنولوجية الحالية والحاجة الملحة لفهم العلوم بشكل أعمق. تعتمد الأداة على تقييم قدرة الوكلاء على استخدام الأوراق العلمية العامة والبرمجيات العلمية المفتوحة لإعادة إنتاج التحليلات التجريبية، والتي غالبًا ما تكون صعبة التكرار بسبب نقص التفاصيل الهامة في الأوراق المنشورة.

تتطلب كل مهمة من الوكيل تحويل تحليل منشور إلى سلسلة عملية من المحاكاة والاختيار، مع تقديم توقعات حول نتائج التصادم في مناطق الإشارة المحددة. ويتم تقييم هذه التوقعات باستخدام مقاييس قياسية توفر نقاط دقة متصلة دون الحاجة إلى معايير يدوية معقدة. كما يتم حساب التكلفة الحاسوبية التي تتحملها كل وكيل لكل مهمة.

عند إجراء التقييم، تم الاعتماد على قضاة من نماذج اللغة لرصد الأخطاء النوعية مثل المصنوعات والتخيلات والتكرارات. وقد تم إصدار مجموعة أولية من المهام المستمدة من البحث في مصادم الهادرونات الكبير، إلى جانب أدوات المحاكاة.

ورغم هذه المبادرات، تكشف النتائج أن لا وكيل يمكنه تجاوز الحل المستند إلى عالم الفيزياء التقليدي، مما يشير إلى أن هناك حاجة ملحة لتطوير ونضوج نماذج الذكاء الاصطناعي لتصبح قادرة على المنافسة مع التجربة البشرية في مجالات البحث العلمي.