تعتبر نماذج اللغة الكبيرة (LLMs) جزءاً أساسياً من تطور الذكاء الاصطناعي، حيث يتم تقييم قدرتها على استخدام الأدوات والتخطيط لمهام متعددة، بالتعاون مع وكلاء آخرين. ومع ذلك، فإن النجاح في تقييم الأداء غالباً ما يخفي أنواعاً متكررة من الأخطاء التي تم توثيقها عبر جهود تقييم متفاوتة.

تتمحور الدراسة الجديدة حول تلخيص 27 ورقة بحثية انطلقت بين عامي 2023 و2026، حيث تم استعراض 19 معياراً مميزاً، مما أسفر عن إنشاء تصنيف شامل يعكس قيود أداء وكلاء النماذج اللغوية. هذه هي المرة الأولى التي يتم فيها دمج الأدلة حول استخدام الأدوات، والتخطيط، والتفكير طويل الأمد، والتنسيق بين الوكلاء، والسلامة، وصحة القياس في تصنيف موحد.

يشير البحث إلى وجود ست مجموعات من الأخطاء:
1. **أخطاء استدعاء الأدوات ومستويات المعلمات**.
2. **فشل التخطيط وتلبية القيود**.
3. **تدهور طويل الأمد نتيجة تراكم السياقات**.
4. **فشل التنسيق بين الوكلاء المتعددين**.
5. **مشاكل في السلامة والأمان في ظروف عدائية أو غير محددة**.
6. **مشكلة صحة القياس**.

على مدى الدراسات، تمت ملاحظة أن الإخفاقات تتزايد بشكل غير خطي مع طول المهام، حيث أن الأداء القوي في المهام الفرعية لا يُترجم بالضرورة إلى نجاح شامل. كما تم ملاحظة أن الاعتماد على الهياكل الإضافية لا يحسن من موثوقية الأداء بشكل مستمر. ومع ذلك، تم الإشارة إلى تقدم ملحوظ في استخدام الأدوات في جولات واحدة، والتنقل في الويب على مدى قصير، ومهام البرمجة المحدودة.

هذا البحث يمهد الطريق لفهم أعمق لتطوير نماذج الذكاء الاصطناعي، ويعود بتأثيرات كبيرة على تصميم الوكلاء الذكيين في المستقبل.