تعتبر تجربة المستخدم (UX) من العناصر الأساسية التي تحدد نجاح أي واجهة استخدام (UI)، حيث ترتكز على سهولة الاستخدام والاتساق المدرك والوضوح الوظيفي. تتجه الأبحاث الحديثة نحو دمج النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) في تصميم واجهات المستخدم، بما في ذلك تقنيات مثل تحديد العناصر المرئية ووكلاء الواجهات الرسومية، فضلاً عن توليد الكود من التصميمات.

ومع ذلك، لا تزال الجهود البحثية التي تستهدف تقييم تجربة المستخدم بناءً على لقطات الشاشة للواجهات غير ناضجة بعد. لمواجهة هذه التحديات، تم اقتراح UXBench، وهو معيار مبتكر يتضمن 2,000 نموذج بيانات سؤالات وإجابات بصرية (VQA) مصمم لتقييم قدرة نماذج MLLMs على القيام بالتفكير القائم على واجهات المستخدم.

يضم UXBench ثمانية مهام تستند إلى لقطات شاشة حقيقية للواجهات، تتطلب تشخيصًا دقيقًا لمشكلات تجربة المستخدم عبر علاقات التخطيط، والهيكل البصري، واتساق المحتوى.

تشير التقييمات الشاملة للنماذج اللغوية السائدة إلى أنها لا تزال تعاني من قيود جوهرية في القدرة على التفكير القائم على واجهات المستخدم. تكشف النتائج عن ضرورة تحقيق تقدم أكبر في هذا المجال.

لجسر هذه الفجوة، اقترحنا نموذج UI-UX الذي يعتمد على نموذج Qwen3-VL-4B-Thinking، وتم تحسينه عبر التعلم التعزيزي مع اثنتين من الابتكارات الرئيسية: آلية توجيه المكافآت التي تعمل على تحقيق توازن ديناميكي بين الفهم الإدراكي والتفكير المنطقي أثناء الاستدلال، ومكافأة النقل غير المتناظرة التي تقلل من خطوات التفكير الزائدة أو غير الكافية. تظهر التجارب أن UI-UX يحقق أداءً مذهلاً على معيار UXBench، مع دقة تصل إلى 0.7963، متجاوزًا أداء Claude-4.5-Sonnet الذي كان 0.6550، بينما يظهر أيضًا قدرة قوية على التعميم عبر مهام واجهة مستخدم متنوعة ويحافظ على زمن استدلال منخفض.