في عالم الذكاء الاصطناعي، يعتمد العديد من وكلاء استخدام الأدوات على بيئات محاكاة مثالية لا تعكس الواقع بشكل دقيق. تتعرض هذه الأنظمة لمشكلات خطيرة عندما يتم تنفيذها في ظروف حقيقية. يتناول بحث حديث بعنوان "عندما تخدع المحاكاة" الفجوة بين المحاكاة والواقع في عملية اتخاذ القرار الحركي الجزئي (POMDP) عند استخدام الأدوات.

يعتمد أداء الوكلاء على مجموعة من المعايير التي تفترض وجود مدخلات نظيفة، وقواميس أدوات واضحة، وواجهات سهلة الاستخدام. ومع ذلك، في التطبيقات الحقيقية، يتم إغراق المستخدمين بأخطاء إملائية، وطلبات غير مضبوطة يمكن أن تتسبب في توقف الوكيل، ووجود أسماء أدوات مكررة تسبب تجميد البرمجيات.

للتصدي لهذه المشكلات، قام الباحثون بتقديم "RobustBench-TC"، وهو معيار جديد يتضمن 22 نوعًا من الاضطرابات، مرتبة وفقًا لأربعة مكونات من POMDP. بفضل هذا المعيار، تم اختبار 21 نموذجًا مع عدد متغير من المعلمات، مما أظهر تفاوتًا حادًا في موثوقية هذه النماذج.

على الرغم من أن اضطرابات الملاحظة تؤثر على الدقة بأقل من 5%، فإن الاضطرابات ذات الصلة بالمكافآت والانتقالات تقلل من الدقة بأكثر من 40% و30%، على التوالي.

وفي محاولة لتحسين أداء الوكلاء، قدم الباحثون وصفة "ToolRL-DR" لتعلم التعزيز، التي تدرب الوكلاء على مسارات مبتكرة من الاضطرابات، مما يتيح تحسين الأداء في التطبيقات الحقيقية. أظهرت النتائج أن الطريقة الجديدة تحافظ على حوالي 75% من الدقة النظيفة، مما يعكس أداءً مقبولًا مقارنةً بالنماذج المفتوحة الأخرى.

كونت هذه الدراسة خطوة كبيرة نحو تحسين الاعتماد على وكلاء الذكاء الاصطناعي في المهام الحقيقية، مما يمثل إنجازًا ملحوظًا في مجال الذكاء الاصطناعي واستخدام الأدوات.