في عصر الذكاء الاصطناعي المتقدم، يصبح فهم كيفية تحول حالات الواجهات التفاعلية أمرًا حيويًا. هذا هو المكان الذي يأتي فيه الإعلان عن EvoGUI، الإطار التشخيصي الجديد الذي يهدف إلى تحسين قدرة الوكلاء الذكيين على فهم تغيير حالات الواجهة.

تم تطوير EvoGUI لتحويل مسارات الواجهات الرسومية (GUI) المعيارية إلى ثلاث أدوات قوية للإجابة عن الأسئلة البصرية:
1. **ترتيب زمني**: معرفة كيفية تتابع الأحداث.
2. **تنبؤ في عكس الإجراء/القيمة**: التوقع الصحيح بما يجب فعله في حالات معينة.
3. **تمييز الخلفاء**: القدرة على مقارنة خطوات العمل وتحديد النجاح.

ما يميز EvoGUI هو أن تسمياته تم استخراجها من ترتيب المسارات والإجراءات المسجلة، مما يستغني عن الحاجة لتوسيم إضافي بعد عملية التطبيع.

تضمن فريق البحث أيضًا إنشاء **EvoGUI-Bench** من **Mind2Web** و**WebLINX**، مع 3,000 حالة عبر 120 مجالًا مختلفًا. ولقد تم تقييم 28 إعدادًا من نماذج الرؤية-اللغة في وضع عدم التعلم (Zero-shot). لكن المفاجأة كانت أن أقوى نموذج لم يتجاوز
60.4 EvoGain، مما يشير إلى أن الحجم المرئي وتخصص الواجهات لا يضمنان بالضرورة الأداء العالي.

تأتي هذه النتائج لتؤكد أن **EvoGUI-Bench** هو مكمل تشخيصي قابل للتوسع لتقييم وكلاء واجهة المستخدم الشاملة، مشيرةً إلى ضرورة المزيد من التطوير في فهم التحولات بين الحالات. للمزيد من التفاصيل، يمكنكم زيارة المصدر على GitHub. ما رأيكم في هذه التطورات المثيرة؟ شاركونا في التعليقات!