في عالم تطوير الذكاء الاصطناعي، يبرز معيار ReFract كخطوة محورية نحو تحسين أداء وكلاء نماذج اللغة الكبيرة (LLMs) في تطبيقات حيوية مثل الصيانة الصناعية وحل مشكلات المعدات. إن النجاح في هذه الأنشطة يتطلب أن تتكيف الوكلاء مع الأدوار المتنوعة للمستخدمين، مما يسهل عليهم اتخاذ القرارات السليمة وتقديم المعلومات المناسبة.

تعتبر مهمة هذا المعيار جديدة ومعقدة، حيث يتعين على الوكلاء استخدام ما يسمى بالوعي بالوظيفة (Perspective Awareness) - أي الإدراك الصحيح لما يتوقعه المستخدم بناءً على دورهم. فالأخطاء في هذه البيئات لا تؤدي إلى نتائج مرنة كما هو الحال في مجال الكود، بل يمكن أن تؤدي إلى أضرار جسيمة مثل التلف في المعدات أو فقدان الإنتاج.

يتضمن معيار ReFract مجموعة من 150 إدخالًا تمت مراجعتها من قبل خبراء، حيث يتوجب على الوكيل تغيير سلوكه استجابةً لنفس الاستفسار بناءً على دور المستخدم. تم بناء هذه المدخلات استنادًا إلى استفسارات مجهولة من محادثات الدعم الفني، مما يعطي انطباعًا واقعيًا عن بيئات العمل التي يتفاعل معها الوكلاء.

حتى الآن، أظهرت نماذج LLM المتقدمة أنها قادرة على حل 69% فقط من المهام، مع أكثر من 50% من محاولاتها لاتخاذ إجراءات تخالف الوعي بالوظيفة. هذا يكشف عن أن الوعي بالوظيفة هو محور تقييم الوكلاء، وأن هناك حاجة لتطوير وكلاء ليس فقط يعرفون ماذا يشكل تصرفًا سليمًا، بل أيضًا لمن يتصرفون.