في ظل التقدم السريع في تقنيات الذكاء الاصطناعي، أصبح من الضروري تقييم أداء الوكلاء المعززين بالأدوات (Tool-Augmented Agents) بطريقة تتجاوز مجرد مقارنة الإجابات. لذا، تم تقديم إطار عمل مبتكر يسمى TRACE، يركز على تقييم مسارات التفكير (Reasoning Trajectories) بشكل شامل.

على الرغم من أن المعايير الحالية قد تتضمن طلبات معقدة، إلا أن التقييم غالبًا ما يقتصر فقط على مطابقة الإجابات، مما يتجاهل جوانب حيوية مثل الكفاءة (Efficiency) والتكيف (Adaptivity) وسهولة الاستخدام. يُعتبر الأسلوب الأكثر شيوعًا في التقييم هو مقارنة مسار التفكير الخاص بالوكيل مع الحقيقة السليمة، لكن التكلفة العالية لتوسيع هذا التقييم لمزيد من المسارات الصحيحة تمثل تحديًا كبيرًا.

يأتي إطار TRACE كحل لهذا التحدي، حيث يقدم إطار عمل خالٍ من المراجع لتقييم النماذج اللغوية الكبيرة (Large Language Models) المعززة بالأدوات من زوايا متعددة. يعتمد TRACE على بنك الأدلة (Evidence Bank) الذي يجمع المعرفة من الخطوات السابقة، مما يسمح بتقييم مسار التفكير لوكيل ما بشكل أكثر فعالية ودقة.

لاختبار فعالية هذا الإطار الجديد، تم تطوير مجموعة بيانات لتقييم الأداء تحتوي على مسارات متنوعة ومعقدة، تم تصنيف كل منها بعلامات أداء متعددة الأبعاد. أثبتت النتائج أن TRACE يمكنه تقييم المسارات بشكل دقيق حتى عند استخدام نماذج لغوية صغيرة مفتوحة المصدر.

كما تم تطبيق هذه الطريقة لتقييم المسارات التي ينتجها الوكلاء أثناء حل المهام المعززة بالأدوات، مما أدى إلى ظهور ملاحظات ورؤى جديدة لم يتم الإبلاغ عنها سابقًا. في عالم يتسارع فيه تطور الذكاء الاصطناعي، هذا الإطار قد يمثل نقطة تحول في كيفية فهمنا لمسارات التفكير وتعزيز فعالية الوكلاء الذكيين.