تظهر وكلاء استخدام الكمبيوتر (Computer Use Agents - CUAs) كواجهة قوية لأتمتة سير العمل الرقمي المعقد من خلال الرؤية الحاسوبية وتنفيذ واجهات المستخدم الرسومية. في هذا السياق، برز التعلم المعزز عبر الإنترنت مع المكافآت القابلة للتحقق (Reinforcement Learning with Verifiable Rewards - RLVR) كاتجاه رئيسي لتعزيز قدراتهم، غير أن هذه النظريات تعاني من نقص البيانات القابلة للتحقق وعدم كفاءة التعلم.

للتغلب على هذه العقبات، نقدم ScaleCUA، إطار عمل موحد يعزز التعلم المعزز عبر الإنترنت لوكلاء استخدام الكمبيوتر بواسطة توليد مهام قابلة للتحقق وتدريب فعال. على مستوى البيانات، قمنا بتصميم VeriGen، وهو إطار عمل شامل لتوليد مهام التعلم المعزز القابلة للتحقق من خلال تفاعلات Docker متكررة ودائرة تغذية مرتدة متعددة الوكلاء. هذا النظام، الذي تم توسيعه ليشمل أكثر من 100 وكيل عامل متزامن عبر بروب تفاعل Docker مشترك، أنتج أكثر من 24 ألف مهمة قابلة للتحقق ونحو 3 آلاف مهمة تعلم معزز ذات جودة مرتفعة.

لزيادة كفاءة العينة، قمنا بتقديم تقنية Frontier Sampling، التي تتابع قدرة المهمة لكل مهمة وتخصص عمليات التشغيل في حدود التعلم الحالية. من جانب التدريب، صممنا أيضاً تقسيم السياق البصري، وهو نافذة منزلقة على السياق البصري الحديث الذي يوازن بين ضغط العمليات التدريبية. هذا الابتكار أدى إلى زيادة سرعة التدريب بمعدل 2.83 مرة مقارنةً بالتحليل التدريجي.

معاً، يحقق ScaleCUA نسبة 68.7% على نظام OSWorld و54.0% على ScienceBoard، مُثبتاً أداءً جديداً غير مسبوق بين وكلاء استخدام الكمبيوتر مفتوحة المصدر. يمكن الوصول إلى الأكواد والنماذج وبيانات التدريب في https://github.com/THUDM/SCALE-CUA. في ختام هذا العرض، ما رأيكم في هذه التقنية الثورية؟ هل تعتقدون أنها ستؤثر على مستقبل الذكاء الاصطناعي؟ شاركونا آرائكم في التعليقات!