في خطوة قد تُحدث تحولًا جذريًا في مجال الذكاء الاصطناعي، تم الإفصاح عن بروتوكول BenchBench، معيار جديد تم تطويره لتقييم نماذج اللغات الكبيرة (Large Language Models) من خلال 149 مهمة تعديل بروتوكول تم استرجاعها من التعديلات التي أجرها العلماء على بروتوكولات منشورة خلال الأعمال التجريبية الفعلية.

تكييف بروتوكول منشور ليتناسب مع تجربة جديدة هو مهمة روتينية يقوم بها علماء المختبرات، ويتطلب تعديلًا دقيقًا يراعي الخيارات السابقة والخطوات التالية. غالبًا ما تميل المعايير الحديثة في العلوم الحياتية إلى المهام المفتوحة والمصنفة وفقًا لمعايير معينة، لكن المهام تم إلهامها عادةً من الخبراء بدلاً من استرجاعها من التعديلات الواقعية.

تستمد مهام BenchBench-Protocol من الفروقات بين البروتوكول المنشور والإصدار المعدل من قبل العالم، مما يوفر الأساس للاستعلام وعناصر التصنيف ذات الوزن المناسب للإجابة الصحيحة. تشمل المعايير 96 بروتوكول مصدر من تسعة مجالات في البيولوجيا المختبرية، ولا تتضمن إلا المهام التي تم تقييمها بشكل عالٍ بعد مراجعتها من قِبل خبراء المجال.

لقد قمنا بتقييم تسعة نماذج مغلقة ومفتوحة، حيث سجل نموذج Claude Opus 5 أعلى نتيجة بنسبة 59.2%، بينما كانت نتائج النماذج الأخرى تتراوح بين 34.1% و47.1%. ومن الجدير بالذكر أن هذا المعيار ما زال غير مشبع حتى عند أخذ أفضل النتائج من عشرة محاولات.

مع تزايد استخدام النماذج في الأبحاث العلمية، يصبح تقييمها في المهام الروتينية للمختبرات ذا أهمية كبيرة، ويظهر بروتوكول BenchBench كوسيلة لتقييم التفكير في المختبر، باعتباره دليلاً على فائدة التجارب الواقعية في إنشاء المهام المعيارية.