أصبح الذكاء الاصطناعي في مجال واجهات الاستخدام يشهد تحولًا مثيرًا، حيث انتقلت نماذج الـ Large Language Models (نماذج اللغات الضخمة) من الاعتماد على البيانات الوصفية إلى نماذج متعددة الوسائط تعمل على الواجهات المرئية (Visual Multimodal Language Models) مباشرةً. تتمثل المهمة الأساسية في 'Grounding' واجهات المستخدم، أي تحويل التوجيهات المجردة للمستخدمين إلى إحداثيات دقيقة للعناصر.

تواجه هذه المهمة عقبتين رئيسيتين: نماذج Grounding التقليدية تفتقر إلى الثروة الدلالية لتفسير التعليمات المجردة، في حين أن نماذج الـ MLLMs المتكاملة تعاني من ظاهرة الهلوسة في الإحداثيات بسبب قصور في الإدراك الدقيق.

في خطوة مبتكرة، تم اقتراح إطار عمل جديد خالٍ من الانحدار، حيث يقوم نموذج MLLM المجمد بتحليل التعليمات، بينما يتولى نموذج Grounding مخصص عملية التوطين الدقيق دون الحاجة لتعلم أي انحدار إحداثي. يركز النموذج المجمد أولاً على توضيح التعليمات المجردة إلى وصف بصري منظم يحتوي على إشارات تخطيطية غنية. تُستخدم هذه الأوصاف بعد ذلك من قبل نموذج Grounding المدرك للتخطيط، الذي ينفذ التوطين دون انحدار من خلال المطابقة مع مرشحات التخطيط، مما يسهم بشكل طبيعي في تقليل حالات الهلوسة وتجنب تحسينات مكلفة.

خلال التجارب على مجموعة بيانات ScreenSpot-Pro، حقق هذا النموذج تحسينًا يتجاوز 20% في دقة التوطين مقارنة بالأنظمة المتكاملة. بينما أدى إلى رفع معدل النجاح ومعدل اختيار العناصر بأكثر من 15% في مجموعة بيانات Mind2Web. توضح هذه النتائج أن فصل فهم التعليمات عن التوطين المدرك للتخطيط يعالج التحديات الأساسية لتفاعل المستخدم مع الواجهات بشكل فعال.

هنا، ننتظر المزيد من الابتكارات في عالم الذكاء الاصطناعي الذي يعيد تشكيل كيفية تفاعلنا مع التطبيقات والبرامج اليومية.