في وقت تتسارع فيه تقنيات الذكاء الاصطناعي، بدأ الباحثون في تطوير طرق جديدة لتقييم أداء وكالات استخدام المتصفح. في دراسة جديدة نُشرت على موقع arXiv تحت عنوان "تحديات استخدام المتصفح من خلال تدخلات بيئية مسيطرة"، تطرح فكرة مبتكرة تمكن من ضبط الصعوبات في المهام بناءً على ظروف بيئية متغيرة.

تتمثل الفكرة الرئيسية في "BreakingWeb"، وهو نظام مبتكر يقوم بإنشاء مهام صعبة تستند إلى مهام تمكنت الوكالات من حلها بالفعل. يتم هذا من خلال مزيج من التدخلات التي تحافظ على تعليمات المستخدم والهدف الكامن ومعايير النجاح الخلفية، بينما تغيّر البيئة على عدة مستويات من سلسلة الويب.

تضم مجموعة الاختبارات 519 نموذجًا نظيفًا ونموذج تدخل عبر سبع مواقع ويب متعددة، مما يوفر فعالية تجربة التحكم. وقد أظهرت النتائج أن التدخلات خفضت معدل نجاح الوكلاء بنسبة 22.9% في المتوسط، بينما انخفض أداء البشر بنسبة 10.0% في المحاولة الأولى، و5.7% بعد محاولتي familiarisation.

المفاجئ أن غالبية الفشل لدى الوكلاء كان نتيجة لفشل في الاعتقاد، حيث 75% من حالات الفشل انتهت بنجاح مُعلن رغم عدم حدوث التغيير المطلوب.

هذا البحث يمثل نقطة تحول هامة في كيفية فهم تحديات الاستخدام داخل بيئات التصفح، حيث يُمكن للباحثين والمطورين الوصول إلى الشيفرة ومجموعة البيانات عبر الموقع www.breakingweb.app.

ما رأيكم في استخدام بيئات مسيطرة لتحديد مستوى صعوبة المهام؟ شاركونا في التعليقات!