في العصر الحديث، تُستخدم نماذج اللغة الكبيرة (LLMs) بشكل متزايد كعوامل للقيام بوظائف خارجية من خلال استدعاء أدوات محددة. بينما تُظهر التقييمات القياسية التي تركز على اللغة الإنجليزية أداءً قويًا في استخدام هذه الأدوات، إلا أن قوة هذه النماذج في التعامل مع تفاعلات متعددة اللغات لا تزال تحتاج لاستكشاف شامل.

تقدم الدراسة الجديدة التي تحمل عنوان 'MLCL' معيار تقييم تشخيصي، حيث تُجري تقييمًا منهجيًا لقدرة دعوة الأدوات متعددة اللغات، مع التركيز على ثلاثة لغات: الصينية والهندية، واللغة الإيغبو ذات الموارد المحدودة. نُجري تحليلًا دقيقة للأخطاء لنظهر أن العديد من الفشل يحدث رغم فهم القصد الصحيح واختيار الأداة المناسبة.

تكشف نتائج التحليل عن أن عدم تطابق قيم المتغيرات اللغوية يُعتبر نمط الفشل الرئيسي، حيث تنتج النماذج قيمًا مناسبة دلاليًا عند التفاعل بلغة المستخدم، مما ينتهك تقاليد التنفيذ الثابتة.

علاوة على ذلك، نقوم بتقييم عدة استراتيجيات نظامية خلال وقت استنتاج النتائج، ووجدنا أنه على الرغم من انخفاض الأخطاء الناتجة عن اللغة بشكل كبير، فإن أي من هذه الاستراتيجيات لا يمكنها استعادة المستوى الإنجليزي أداءً كاملاً. هذه النتائج تطرح تحديات جديدة وشيقة للباحثين في هذا المجال، مما يستدعي تطوير استراتيجيات أكثر فاعلية لضمان الأداء العالي عند التعامل مع واجهات متعددة اللغات.