في عالم العملات الرقمية، يعتبر اتخاذ القرارات الصحيحة أمراً بالغ الأهمية، وهنا يأتي دور معيار LATTICE. تم تطويره بهدف تقديم تقييم موضوعي وموثوق لوكلاء العملات الرقمية في مساعدتهم للمستخدمين، حيث يركز هذا المعيار على قياس قدرتهم على دعم اتخاذ القرارات بشكل أفضل من الفحوصات السابقة التي اعتمدت على تحليل النتائج أو التفكير.

يتميز معيار LATTICE بتعريفه لستة أبعاد رئيسية تقييمية تعكس خصائص دعم اتخاذ القرار الأساسية، إلى جانب اقتراح 16 نوعاً من المهام التي تشمل جميع جوانب العمل للوكلاء في مجالات العملات المشفرة. أحد الابتكارات الرئيسة هو استخدام قضاة نماذج اللغة الضخمة (LLM judges) لتقييم أداء الوكلاء بشكل تلقائي، مما يسهل عملية التقييم على نطاق واسع دون الحاجة إلى بيانات من خبراء تقييم خارجيين.

تتم إدارة هذه الأبعاد والمهام بطريقة تجعلها قابلة للتحديث والتدقيق بشكل مستمر بناءً على معايير جديدة ومدخلات بشرية، مما يعزز موثوقية ومرونة التقييم.

سعياً لقياس الأداء الفعلي، تم تقييم ستة وكلاء حقيقيين في مجال العملات الرقمية عبر 1200 استفسار متنوع، حيث أظهرت النتائج أن أداء الوكلاء يختلف بشكل ملحوظ بين الأبعاد والمهام، ما يشير إلى وجود مفاضلات مهمة في جودة الدعم اتخاذ القرار. لذا، قد يجد المستخدمون ذوو الأولويات المختلفة أنفسهم أفضل خدمة من وكلاء مختلفين، وليس بناءً فقط على التصنيفات الإجمالية.

لضمان إمكانية البحث القابل للتكرار، تم فتح مصدر جميع الأكواد والبيانات المستخدمة في تطوير معيار LATTICE، مما يتيح للمجتمع البحثي الاستفادة منها وتطويرها في المستقبل.