يُعتبر استخدام الذكاء الاصطناعي في محاكاة تفاعلات واجهة المستخدم الرسومية (GUI) خطوة متقدمة نحو تعزيز فعالية نماذج الاستخدام الحاسوبي (Computer-use agents) في إدارة المهام الطويلة. ومع ذلك، فإن التحديات التي تواجهها هذه النماذج تتعلق بكيفية فهمها للانتقالات السببية خلال التفاعلات.

تُقدّم مبادرة Desktop-Delta Bench (DDB) حلاً مبتكرًا، حيث توفر معيارًا جديدًا يُعَدّ خطوة للاختبار والتقييم. الاحتواء على 2,013 حالة تم التحقق منها بشريًا من مسارات متعددة التطبيقات التي تم استخدامها تحت نظام لينكس، يعتبر بمثابة قاعدة بيانات ثرية تلقي الضوء على مدى قدرة النماذج على التفاعل مع التغيرات الديناميكية في واجهات الاستخدام.

تستهدف DDB ثلاثة أبعاد من الفشل في التفاعلات: التحقق من الحالة، تتبع المصدر، والتحكم الواعي بالسياق. تم تقسيم المعايير إلى مهمتين متكاملتين تضم 463 حالة ترتيب زمني من ثلاث إطارات، و1,550 زوجًا من الحالات المصنفة من خمسة أفعال وأعبائها.

من خلال تقييم 8 عائلات من النماذج المفتوحة والمغلقة المصدر عبر 32 إعداد ترتيب و16 إعداد فعل واحد، وجد أن الفجوات لا تزال موجودة بصورة متسقة. فعلى سبيل المثال، كانت معدلات المطابقة الدقيقة لم يكن لأفضل النسخ غير الأقصائية 65.1% بينما للنسخ الأقصائية 65.7%. ومع أن السياق الزمني يُحسن من التعرف على الانتحال بنسبة 6.9 نقطة مئوية، إلا أنه يقلل من المطابقة الدقيقة للنماذج غير الأقصائية بنسبة 2.2 نقطة.

تُظهر نتائجنا أن التنبؤ بفئة الفعل يعتبر أكثر تعقيدًا من تحديد موقعه، حيث بلغت دقة التعرف على فعل النقر F1 نحو 0.96 مقارنةً بـ 0.76 للجرّ، ما يعني أن نماذج DDB تمثل تطورًا مُعتبرًا في فهم كيفية تأثير الأفعال على تسلسل الأحداث في بيئة واجهات الاستخدام.

من خلال تقديم هذه الطبقة التشخيصية المفقودة بين أساسيات المعاينة النهائية ونجاح المهام، تمكّن DDB من تحسين التحقق والموثوقية والقدرة على الاسترداد في نماذج الاستخدام الحاسوبي. فهل أنتم متحمسون لمتابعة هذه التطورات في عالم الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات!