تتسارع الابتكارات في مجال الذكاء الاصطناعي، خاصة مع نمو قدرات نماذج اللغات الضخمة (Large Language Models) في توليد صفحات الويب. لكن تظل الطرق الحالية المعتمدة على النصوص، التي تتطلب من المستخدمين توفير مطالبات معقدة، عائقًا أمام الإبداع ومحدودية التعبير عن التخطيطات المرئية.

لذا، جاء معيار UI2App ليقدم حلاً مبتكرًا، حيث يعتمد على الصور الملتقطة لواجهات المستخدم (UI Screenshots) بدلاً من النصوص، مما يجعله أكثر توافقًا مع سير العمل الحقيقي في تطوير البرمجيات. يتميز هذا المعيار بأنه أول Benchmark يستهدف استنتاج التفاعل، أي القدرة على استعادة سلوك التطبيق من الصور فقط، دون الحاجة لأي توجيهات نصية أو سلوكية.

يتضمن UI2App 327 لقطة شاشة تم تنظيمها في 45 مجموعة متماسكة للحالات، تمثل تطبيقات ويب متعددة المسارات القابلة للتشغيل. صُممت عملية شاملة لتقييم كل عنصر بناءً على أربعة أبعاد رئيسية: القابلية للتنفيذ، إمكانية الملاحة، دقة الصورة، والاستنتاج التفاعلي. وتعتمد مقياس التفاعل (Interaction Inference Score - IIS) على تقييم التفاعلات المستنتجة وفقاً للدقة الوظيفية وتعقيد إدارة الحالة.

تشير التجارب التي أجريت على ستة نماذج متقدمة للغة-الرؤية إلى وجود فجوة كبيرة في القدرات بين إعادة البناء المرئي وتحقيق التفاعل، حيث سجل نموذج القياسية المرئية الذي حقق أفضل نتائج فقط 7.5 على مقياس IIS، مما كسب المركز الرابع وبفجوة 5.2 مرة عن متصدر IIS. كما أن التفاعلات ذات التعقيد العالي، مثل حالة عبر الصفحات، لا تزال تمثل عنق الزجاجة الأساسي، حيث سجل نصف النماذج المُقيمة صفرًا تمامًا في هذا البعد.

تُظهر نتائج هذه الدراسة أن استنتاج سلوك التفاعل الكامل من لقطات ثابتة لا يزال تحديًا رئيسياً للنماذج الحالية. كيف سيؤثر هذا الابتكار على مستقبل تطوير التطبيقات؟ دعونا نناقش ذلك في التعليقات أدناه.