شهدت تكنولوجيا الوكالات الحاسوبية تقدمًا ملحوظًا في الأداء عبر عدة اختبارات، مثل OSWorld وAndroidWorld، ولكن لا تزال تلك الوكالات تتفاعل معظم الوقت من خلال واجهات المستخدم الرسومية (GUI)، مما يؤدي إلى مسارات غير فعالة في كثير من الأحيان. في عالم العمل الحقيقي على الحاسوب، يجمع الاستخدام بين الفحص البصري للحالة وتنفيذ الأوامر بشكل دقيق وعالي الإنتاجية. ولذلك، يجب على الوكلاء القادرين التنسيق بين هذين النمطين على حالة التطبيق المشتركة.

ومع ذلك، فإن البيئات الهجينة القابلة للتوسع تظل نادرة، حيث يتطلب دعم كل من GUI وCLI على التطبيقات الحقيقية عادةً الهندسة اليدوية الشاقة لكل تطبيق. علاوة على ذلك، تكافح الوكالات الحالية للاستفادة من الواجهتين بشكل تكاملي: فالوكالات المعتمدة على سطر الأوامر تفتقر إلى الإدراك البصري للمهام المتعلقة بحالة أو تصميم الواجهة، بينما تكون الوكالات المعتمدة على الواجهة الرسومية غير فعالة للعمليات التي يمكن تنفيذها بشكل أفضل من خلال الأوامر.

نقدم هنا CUA-Universe، وهو بيئة قابلة للتوسع تبني على خط أنابيب البيانات يمكّن البرمجيات المكتبية الحقيقية من التحول إلى بيئات هجينة تجمع بين واجهات المستخدم الرسومية وسطر الأوامر. يعمل تطبيق App-Forge على تكييف التطبيقات إلى آلات افتراضية قابلة لإعادة الإنتاج والأسطح التابعة لسطر الأوامر التي يكتشفها أو يلفها أو يقوم بإنشائها وصولاً إلى 16 تطبيقًا. بينما تقوم وظيفة Task-Weave بتوليد مهام هجينة متنوعة بمستويات صعوبة قابلة للتحكم من العمليات القابلة لإعادة الاستخدام على ملفات البذور. ويعمل Path-Steer على توجيه مسارات التنفيذ لتكون أكثر فعالية، وجمع المسارات الموثقة لتتمكن من الاستفادة منها بعد التدريب.

يسمح التدريب على هذه البيانات بالتحول من تفاعل الـ GUI غير الفعال والبرمجة الهشة على سطر الأوامر إلى تنسيق فعّال بين الـ GUI وCLI. لقد أظهر نموذجنا الذي يتكون من 9 مليارات وحدة تحسنًا ملحوظًا في كل من معدل النجاح والكفاءة.

ختامًا، تعد CUA-Universe خطوة جديدة نحو بناء وكلاء حاسوب أكثر قدرة وكفاءة، مما يفتح آفاقًا جديدة في عالم الذكاء الاصطناعي.