في عالم الذكاء الاصطناعي المتنامي، يظل تقييم قدرات نماذج اللغة (Language Models) أحد التحديات الرئيسية التي تواجه الباحثين. تركز هذه الورقة على أهمية تقييم التفكير بشكل فعال، حيث يتمحور النقاش حول ضرورة الاعتماد على الأدلة الملموسة لعمليات البحث المتعددة المراحل بدلاً من تقييم دقة الإجابات النهائية فقط.

يتم تعريف التفكير في هذا السياق على أنه اختيار خطوات وسيطة للتوصل إلى نتائج معينة، مع التوقف عند ظروف معينة تعتمد على المدخلات. وقد تم صياغة هذا التعريف على أنه إجراء يشبه عمليات البحث، مما يسلط الضوء على محدودية الطلعات الأمامية الفردية في الهياكل القابلة للتوسع لأنه يتم تعيين قدرة هذه النماذج على تنفيذ حسابات ذات عمق متغير.

لذلك، تقترح الورقة انتقالًا نحو تقييم يستند إلى العمليات، حيث يتم قياس التفكير من خلال مدى صحة وجودة تتبعات التفكير الوسيطة، مما يجعلها أهدافًا رئيسية في عمليات التقييم. إن الاعتماد فقط على دقة الإجابة النهائية يعتبر غير كافٍ، حيث أنه يقدم قدرة محدودة لتشخيص أو إصلاح العمليات الأساسية التي تؤدي إلى الحلول الفردية في النماذج المتقدمة.

ختامًا، يشدد الباحثون على أهمية إعادة التفكير في معايير تقييم نماذج الذكاء الاصطناعي وتبني أساليب جديدة تركز على الأداء الإجرائي لتقديم فهم أفضل لعمليات التفكير داخل هذه النماذج.