مع تزايد الاقتراحات حول تطوير وكالات التعليم الأوتوماتيكية كأنظمة علمية (AI-scientist systems) تقوم بتحليل البيانات وكتابة التقارير البحثية، تبرز الحاجة إلى تقييم يعكس فعلياً قدرة هذه الأنظمة على تحقيق اكتشافات جديدة. ولتلبية هذا الاحتياج، تم تقديم معيار TruthInsightBench.

يتميز TruthInsightBench بخصائص ثورية، حيث يشمل 40 مهمة عمياء مأخوذة من 40 دراسة خضعت لمراجعة الأقران عبر 10 مجالات علمية. الهدف هو إنشاء عمليات تقييم تضع تحت أيدي الوكيل تحديات علمية غير معروفة، مما يتطلب منه أن يحدد ما تدعمه البيانات بشكل مستقل، بعيداً عن النتائج المسبقة.

يعتمد التقييم على قاضي مبني على نماذج لغوية ضخمة (Large Language Models) يقيم نضوج الأدلة للاكتشافات التي يقدمها الوكيل بناءً على ستة أبعاد محددة، مما يسمح بإجراء تقييم موحد ومكرر دون الحاجة إلى تقييم يدوي مستمر. وقد أظهرت النتائج الأولية أن أربعة وكلاء للتشفير نجحوا في تنفيذ وتوثيق التحليلات بجدارة، لكنهم عانوا في تقديم شواهد موثوقة ومقنعة لدعم ادعاءاتهم.

تكمن العقبة الكبرى في عملية اتخاذ القرار العلمي، وليس في التشفير، مما يجعل من الاكتشاف الحقيقي هدفاً بعيد المنال. ومع ذلك، فإن TruthInsightBench يسلط الضوء على هذا الفجوة كهدف قابل للقياس، مما يعد بإمكانيات واعدة للبحوث المستقبلية.

احصل على المزيد حول هذا المعيار الجديد من خلال زيارة رابط الجيت هاب والتي تحتوي على البيانات وكود التقييم.