في عالم الذكاء الاصطناعي، تعد طرق التفكير في وقت الاختبار مثل تحسين التكرار (iterative refinement)، والتفكيك (decomposition)، وأخذ عينات متكررة (repeated sampling) أساسية في تحسين أداء النماذج. ومع ذلك، غالباً ما يتم تقييم هذه الطرق بمعزل عن بعضها البعض، مما يجعل من الصعب مقارنة النتائج بين النماذج المختلفة ومعايير التقييم.

تقدم دراسة جديدة رؤية موحدة لهذه الطرق على أنها مشغلات تسلسلية في مسار التفكير للعميل (agent): تشمل هذه العمليات GROW التي تعمق مسار التفكير الفردي، وPRUNE التي تقوم بتفكيك المشكلة وإعادة تجميعها، وBRANCH التي تأخذ عينات من مسارات تفكير بديلة وتختار من بينها.

لقد أجرينا تقييمًا شاملًا لجميع هذه المشغلات الثلاث مقابل نموذج أساسي يعتمد على سلسلة من الأفكار، باستخدام نفس المطالبات، وميزانيات الرموز، وكود التقييم. عبر خمسة معايير وثلاث نماذج رائدة، وشملت 14 إعداد نموذج-معيار، تم فحص 49,327 عنصرًا مصنفًا و151,876 مكالمة نموذج. وقد أظهر نموذج BRANCH تحسنًا في الدقة في جميع الإعدادات الأربعة عشر بمتوسط 5.98 نقطة مئوية، وكان الأكثر أداءً بين جميع العمليات في 12 إعداداً من تلك الإعدادات.

بالمقابل، حقق نموذج GROW زيادة متوسطة تبلغ 2.18 نقطة لكنه أدّى إلى انحدار الأداء في إعدادين، في حين أن PRUNE حسّن الدقة بمعدل 0.94 نقطة.

تشير التحليلات إلى أن ميزة BRANCH لا تأتي فقط من استكشاف مسارات تفكير متعددة، بل أيضًا من القدرة على التعافي من الانقطاع: حيث ترتبط نتائجه ارتباطًا وثيقًا بمعدل الخروجات الفارغة الناتجة عن نفاذ الميزانية (r = 0.72).

تشير هذه النتائج إلى ضعف الفرضية التي تفيد بأن المشاكل المختلفة تحتاج إلى توجيه بين مشغلات التفكير في وقت الاختبار؛ عند هذا المستوى من التجريد، يبدو أن التفرع المتكرر هو الأكثر سيطرة.

أخيرًا، نوضح أن التقييم غير المتزاوج ومعاملة عيوب أنظمة التقييم كأخطاء نموذجية يمكن أن يغير، وحتى يقلب، الاستنتاجات المقارنة بشكل كبير؛ مما يحفز على اعتماد التقييم المتزاوج كبرتوكول قياسي لتقييم حسابات وقت الاختبار.