في عالم الكيمياء، تمثل آليات التفاعل العضوي الخطوات الأساسية التي تتفاعل بها المتفاعلات لتكوين المنتجات. لكن كيف يتفاعل الذكاء الاصطناعي مع هذا العالم المعقد؟ هنا يأتي دور منصة oMeBench، التي تعد أول معيار شامل تم تصميمه بعناية من قبل خبراء لقياس قدرة نماذج اللغة الكبرى (LLMs) في فهم آليات التفاعلات الكيميائية.

في هذا الإطار، يتضمن oMeBench أكثر من 10,000 خطوة ميكانيكية موصوفة، مع تصنيفات متعددة ومستويات صعوبة. تعتمد هذه المنصة على تقييم دقيق يضمن عدم الاكتفاء بفهم سطحي لتحقيق نتائج فعالة، بل يسعى إلى البحث عن القدرة على تقديم الوسائط الصحيحة والحفاظ على التناسق الكيميائي.

ولضمان تقييم دقيق، تم تقديم إطار تقييم ديناميكي تحت مسمى oMeS يجمع بين منطق الخطوة الواحدة والتشابه الكيميائي. وقد أظهرت الدراسات الخاصة بالأداء أن النماذج الحالية، رغم أنها تظهر بعض الذكاء الكيميائي الواعد، إلا أنها تعاني من صعوبة في تحقيق مراحل تفكير متسقة وصحيحة.

المثير في الأمر، أن استخدام استراتيجيات التحفيز وضبط نموذج متخصص على مجموعة البيانات المقترحة من oMeBench يمكن أن يحسن الأداء بنسبة تصل إلى 50% مقارنة بأفضل نموذج مغلق مصدر. أهدافنا من هذه المنصة هي تعزيز قدرة أنظمة الذكاء الاصطناعي نحو تحقيق تفكير كيميائي حقيقي، مما يمثل نقلة نوعية في كيفية تعاملنا مع العلوم الكيميائية.