في عالم الذكاء الاصطناعي (AI)، تلعب النماذج اللغوية الكبيرة (Large Language Models) دورًا متزايد الأهمية في التطبيقات الرياضية. ومع ذلك، فإن التقييمات الحالية غالبًا ما تختلط مع حفظ الأنماط بدلاً من التفكير الحقيقي. لتناول هذه الفجوة، تم تقديم معيار ASyMOB، مجموعة بيانات متطورة تضم
35,368 مسألة رياضية رمزية تم التحقق منها في مجالات التكامل والحدود والمعادلات التفاضلية والسلاسل والهيبرجومترية.

على عكس المعايير السابقة، يقوم ASyMOB بتغيير كل مسألة من المسائل الأساسية عبر استخدام التحولات الرمزية والرقمية وتحولات المحافظة على المعادلة، مما يمكّن من إجراء تقييم دقيق للقدرة على التعميم. يكشف التقييم الخاص بهذا المعيار عن ثلاث نتائج رئيسية: 1. تتعرض أداء معظم النماذج للانهيار تحت تغيرات طفيفة، بينما تعرض الأنظمة الأفضل تحولًا واضحًا في المتانة; 2. تعمل أدوات الشيفرات المدمجة على استقرار الأداء، وخاصةً بالنسبة للنماذج الأضعف; 3. يتم التعرف على أمثلة حيث تفشل أنظمة الجبر الحاسوبي (Computer Algebra Systems) في حين تنجح نماذج اللغة الكبيرة، إلى جانب مشاكل تُحل فقط من خلال نهج هجين يجمع بين LLM وCAS، مما يبرز أفق تكامل واعد.

خلاصة القول، يُعتبر ASyMOB أداة تشخيصية مبدئية لقياس وتعجيل التقدم نحو بناء ذكاء اصطناعي موثوق وقابل للتحقق، يدعم الاكتشاف العلمي.