في عالم الذكاء الاصطناعي، يعتمد أداء الوكلاء المحترفين على مجموعة من المعايير والمفاهيم التي غالباً ما تكون غائبة عن البيانات العامة. ومع ذلك، نادرًا ما تضمن المعايير المستخدمة في الاختبارات توفر هذه المعايير للوكلاء.

لذا، قدم الباحثون بروتوكولًا مبتكرًا يُعرف بـ "بناء المهام المعرفية المحمية" (Knowledge-Gated Task Construction)، والذي يعتمد على فصل تعليمات المهمة عن وثيقة تحتوي على مفاهيم خاصة، جداول مرجعية، وعوامل منفعة.

يتضمن البروتوكول خصائص عديدة مثل نشأة البناء، وتعليمات المهام المتطابقة بين الظروف المقدمة والمخفية، وتدقيق الفجوات، وشهود تنفيذ يمكن تقييمها.

تظهر النتائج التجريبية أن أحد تكوينات الوكلاء يمكنه تحقيق معدل نجاح يصل إلى 68.0% باستخدام الوثيقة، بينما تراجع هذا المعدل إلى 0% بدونها. من جهة أخرى، تفشل الوثائق غير الصحيحة أيضًا في تحقيق أي نجاح في خمسة تجارب متتالية.

تتيح الحلول الحاسوبية المحددة وقواعد البيانات القابلة للتطبيق حسابات دقيقة للمهام الهيكلية، بينما تدعم معايير تقييم معينة المخرجات التي لا يمكن التحقق منها بواسطة خوارزمية واحدة فقط.

تُظهر هذه التجارب نجاح البروتوكول، ولكنها لا تضمن أن المهام المتبقية ستُسهم في تحسين الأداء بعد التدريب. ويُعكف الباحثون الآن على نشر جزء من مجموعة المهام والأدوات المساعدة على منصة GitHub، مما يفتح المجال أمام مزيد من الابتكار في هذا المجال.