في عالم الذكاء الاصطناعي والتعلم الآلي، تتزايد أهمية نماذج التفكير (Reasoning Models) في تحسين أداء الأنظمة. ومع ذلك، تكشف الأبحاث الجديدة عن تحديات كبيرة تواجه هذه النماذج عند توزيع موارد الحوسبة خلال اختبارات متعددة.

تستخدم نماذج التفكير اللغوي بشكل متزايد حوسبة وقت الاختبار (Test-Time Compute) لتعزيز أدائها، إلا أن التقييمات الحالية تدرس هذا الجانب سؤالاً بسؤال. هذا النهج يتجاهل الواقع العملي حيث يتعين على النماذج اتخاذ قرارات حول كيفية توزيع موارد الحوسبة المحدودة بين عدة مشكلات، خاصة عندما تشترك هذه المشكلات في تكاليف أو قيود زمنية متكاملة.

قمنا بتطوير إطار تقييم يشبه الامتحان لدراسة كيفية توزيع نماذج التفكير لميزانية رمزية مشتركة عبر أسئلة بمستويات صعوبة وقيم مختلفة، بهدف تحقيق أقصى استفادة من النقاط. وقد أظهرت النتائج أن النماذج تواجه صعوبات شديدة في تخصيص هذه الميزانية المشتركة بشكل استراتيجي، حيث تميل إلى التصرف كحلول جشعة تسلسلية (Greedy Sequential Solvers).

تُفضل هذه النماذج الأسئلة حسب ترتيب تقديمها، مما يؤدي إلى تركيز الجهود على الأسئلة الأولى دون مراعاة للقيمة أو الصعوبة. تصبح هذه الممارسات أكثر وضوحًا مع زيادة عدد الأسئلة. كما أن التحفيزات التي تهدف إلى التخطيط الصريح تُوزع الموارد بشكل أكثر توازنًا، لكنها تفتقر إلى الوعي بالقيمة أو الصعوبة.

تشير هذه النتائج إلى أن تخصيص الميزانية العالمي يُعتبر قدرة متميزة لا تُلتقط من خلال التقييم التقليدي لكل سؤال، ولا تزال تواجه تحديات كبيرة في نماذج التفكير الحالية. يُظهر هذا العمل الحاجة الملحة لتطوير استراتيجيات جديدة لضمان استفادة هذه النماذج بكفاءة من مواردها المحدودة خلال الاختبارات.