تشهد نماذج اللغة الضخمة (Large Language Models) تحسنًا ملحوظًا في أدائها الرياضي، مما يعكس تقدمًا كبيرًا في التفكير العددي. تم استخدام أساليب السلسلة المتتابعة للتفكير (Chain-of-Thought) والتعلم المعزز (Reinforcement Learning) لتطوير هذه النماذج، ومع ذلك، لا تزال هناك العديد من الأسئلة المفتوحة حول العلاقة بين استخدام رموز التفكير (Reasoning Tokens) وزيادة الدقة.

عند مقارنة النماذج عبر الأجيال المختلفة، يكمن السؤال المهم: هل تحسين الأداء ناتج عن زيادة طول سلاسل التفكير أم كفاءتها؟ أجرينا دراسة منهجية لتحليل طول سلسلة التفكير بين نسختي o1-mini و o3-mini باستخدام معيار Omni-MATH، وتمكنا من ملاحظة أن o3-mini (m) ينال دقة أفضل دون الحاجة إلى طول أكبر في سلاسل التفكير مقارنة بـ o1-mini.

علاوة على ذلك، يظهر أن الدقة تتراجع عادة مع زيادة طول سلاسل التفكير عبر جميع النماذج وإعدادات الحوسبة، حتى عند التحكم في صعوبة الأسئلة. ومع ذلك، فإن انخفاض الدقة يكون أقل بكثير في النماذج الأكثر كفاءة، مما يشير إلى أن الأجيال الجديدة من نماذج التفكير تستخدم مواردها بشكل أكثر فعالية في الاختبارات.

أخيرًا، على الرغم من أن o3-mini (h) يحقق زيادة طفيفة في الدقة مقارنة بـ o3-mini (m)، فإنه يتطلب تخصيص المزيد من رموز التفكير لجميع المشكلات، حتى تلك التي يمكن لـ o3-mini (m) حلها بسهولة. تقدم هذه النتائج رؤى جديدة حول العلاقة بين قدرات النماذج وطول التفكير، مما ينعكس على الكفاءة والقياس وأساليب التقييم.