في عالم يتسم بتزايد الاعتماد على التكنولوجيا، تُظهر وكالات الذكاء الاصطناعي (Artificial Intelligence Agents) تقدماً ملحوظاً في إدارة الأنظمة الرقمية المنفردة، مثل تطبيقات الهواتف المحمولة والأنظمة المكتبية والمنازل الذكية. ومع ذلك، تتطلب الأهداف الحقيقية للمستخدمين العمل عبر عدة أجهزة في نفس الوقت. فعلى سبيل المثال، قد تأتي المعلومات من هاتف ذكي، ثم تتم معالجتها على نظام مكتبي، قبل أن يتم عرض النتيجة على جهاز آخر.

ومع ذلك، لا تركز معايير الاختبار الحالية على تقييم أداء هذه الوكالات عبر بيئات متعددة، بل تتجه غالبية تلك المعايير نحو بيئة تنفيذية واحدة، مما يمثل تحدياً في تقييم قدرة الوكالات على تجميع المعلومات من أجهزة متنوعة وإتمام المهام المتكاملة.

هنا يأتي دور DevicesWorld، هذا المعيار الجديد الذي أُطلق ليكون مرجعاً كبيراً لاختبار الأداء التعاوني عبر الأجهزة. يحتوي DevicesWorld على 6,140 مهمة ويجمع بين ثلاث فئات من بيئات الأجهزة: الهواتف المحمولة (Mobile)، الأنظمة المكتبية (Desktop)، وأجهزة الإنترنت المتصلة (IoT) في إطار موحد للتفاعل والتقييم عبر الأجهزة.

توضح كل مهمة هدف المستخدم بلغة طبيعية، والأجهزة المشاركة، والحالات الأولية، والإجراءات القابلة للتنفيذ، والتحقق القائم على القواعد، وإجراءات التنظيف. كما تُستخدم بطاقات الجودة والتحكم لضمان أن تبقى المهام قريبة من احتياجات المستخدمين الحقيقية، بينما تسمح بالتحقق التلقائي من النتائج النهائية استناداً إلى حالات الأجهزة والملفات الناتجة.

عند تقييم خمسة أنظمة متطورة من وكالات الذكاء الاصطناعي باستخدام مجموعة تقييم ثابتة، أظهرت جميع الأساليب معدلات نجاح منخفضة، حيث لم تصل أفضل أداء إلا إلى 12.5%. ومن بين التجارب الفاشلة، حققت حوالى 28.7% على الأقل شرطاً واحداً من معايير التقييم، لكنها فشلت في إتمام المهمة بالكامل. تُظهر البيانات أن الوكالات قد تعلق عند جمع المعلومات أو التفاعل مع واجهات المستخدم أو تعاني من الارتباك بين الأجهزة المصدر وأجهزة الإخراج أو تنتهي قبل أن تتحقق جميع الشروط مجتمعة.

تحوّل DevicesWorld عملية التشغيل التعاوني عبر الأجهزة إلى مشكلة تقييم قابلة للتنفيذ، ويمكن إعادة إنتاجها، مفيدة للبحث في الوكالات الموثوقة عبر الأجهزة المتعددة. ما رأيكم في هذا التطور؟ شاركونا آرائكم في التعليقات!