تشهد نماذج اللغة الكبيرة (LLM) استخدامها المتزايد في مهام استخلاص المعلومات المعقدة، وقد أصبح من الضروري فهم ما إذا كانت المكونات السلوكية مثل التفكير (reflection) والتذكر (memory) تسهم فعلاً في تحسين النتائج. في هذا الإطار، تركز الدراسة الحالية على استخراج بيانات من مؤتمرات علمية، حيث يجب على النظام التعرف على مجموعات البيانات المذكورة في صفحات الـPDF الأكاديمية وإنتاج سجلات منظمة.

تمت المقارنة بين نظام العمل التقليدي الثابت (fixed workflow) ونماذج تعتمد على التفكير، بحيث تم تحديد شرط مثالي للنموذج (S2) الذي يوسع نطاق نفس المهمة باستخدام أدوات PDF أغنى واختيار ديناميكي للأدوات.

تؤكد التقييمات على سلوك الأداء على مستوى العمليات، بما في ذلك تنفيذ الأدوات، وإعادة المحاولات، واستخدام التفكير والتذكر، والوقت المستغرق، واسترجاع الفشل، بينما تعتبر تغطية الاستخراج وكمية المجال نتائج ثانوية.

تسلط نتائج البحث الضوء على الظروف التي تغيّر فيها الآليات السلوكية سلوك النظام، ومدى تحسين هذه التغييرات من إتمام المهام، وكيف أن الأنماط الفاشلة التي تم ملاحظتها تبين الحاجة إلى تصميم وكيل محسن تحت نفس ظروف التقييم.