في عالم الذكاء الاصطناعي المتطور، يظهر معيار جديد يدعى MathConstraint، الذي يهدف إلى تقييم قدرات التفكير التبادلي في نماذج اللغات الضخمة (LLMs). يتجاوز هذا المعيار القيود التقليدية التي تعاني منها المعايير الحالية من خلال دمج مشاكل تحقيق القيود مع التحقق الدقيق بواسطة السولفز (solvers).

يمثل MathConstraint أداة مبتكرة تقيس مدى تقدم نماذج الذكاء الاصطناعي في معالجة المسائل التبادلية، وذلك عبر تصميم مولد قابل للتكيف ينشئ حالات تحقق تبقى مت challenging تدريجياً مع تقدم قدرات التفكير لدى LLMs.

على عكس المعايير الموجودة التي كثيراً ما تشبع سريعاً من مجموعة بيانات ثابتة أو تعتمد على نماذج الذكاء الاصطناعي كحكم للتحقق من الحلول، يستخدم MathConstraint أنواع المشاكل المهيكلة لتوليد حالات تحقق صعبة وقابلة للتأكيد الآلي.

تتضمن النسخة الأولية MathConstraint-Easy (266 حالة) حيث تحقق النماذج الرائدة من دقة تتراوح بين 72.6% (gemini-3.1-flash-lite) و87.6% (gpt-5.5) في حين تحتوي على MathConstraint الأصعب (329 حالة) حيث تنخفض دقة نفس النماذج إلى 18.5% (claude-4.6-sonnet) و66.9% (gpt-5.5).

يتمتع هذا المعيار بالمرونة اللازمة لمواكبة التقدم السريع في قدرات التفكير لدى LLMs، حيث قمنا بتقييم 12 نموذجاً رائداً ومفتوح الوزن، مع إمكانية الوصول إلى بيئة بايثون sandboxed تشمل حلول SAT/SMT العامة.

تظهر النتائج أن الوصول إلى الأدوات يمكن أن يزيد دقة النماذج الرائدة في MathConstraint بمعدل 28 نقطة مئوية (pp) حتى 52 نقطة مئوية لبعض النماذج. كما أن تقليل ميزانية استدعاء الأدوات من 8 إلى 4 جولات يمكن أن يمحو حتى 37 نقطة دقة، وهو تأثير لا تدركه معظم المعايير ذات الميزانية الفردية.

مع هذا المعيار الجديد، يتم إطلاق مولد الحالات، قاعدة البيانات، وأداة التقييم كبيئة متينة لدراسة التفكير التبادلي وسلوك استخدام الأدوات تحت صعوبة قابلة للتعديل حسب الحاجة.