في عالم متسارع من تطورات الذكاء الاصطناعي، أثارت الدراسات الحديثة في نماذج الأساس متعددة الوسائط (Multimodal Foundation Models) ونظم الوكلاء انتباه البحث العلمي، حيث تطورت وكلاء واجهات الاستخدام (GUI Agents) من تنفيذ المهام داخل منصة واحدة إلى التفاعل عبر منصات متعددة. ومع ذلك، يبقى بناء وكلاء واجهات الاستخدام عبر منصات متعددة تحدياً كبيراً.

من جهة، هناك نقص في البيانات عالية الجودة والمسارات القابلة للتنفيذ للتفاعل عبر المنصات، إذ تعاني العديد من البيانات الحالية من تغطية محدودة للمنصات. ومن جهة أخرى، تمتاز المنصات المختلفة بقواعد تفاعل فريدة، ما يجعل التدريب المشترك أو المستمر عرضة للتشويش في أنماط السلوك وتدهور القدرات الخاصّة بالمنصة، فضلاً عن فقدان المعلومات بشكل كارثي.

لمعالجة هذه التحديات، تم تطوير مجموعة بيانات Uni-GUI، والتي توفر تفاعلات جودة عالية عبر المنصات المختلفة، بالإضافة إلى اقتراح تقنية UI-MOPD، والتي تعتبر أول طريقة تدمج التنقيح المستمر للسياسات عبر معلمين متعددين في مجال التعلم المستمر لوكلاء واجهات الاستخدام. من خلال اختيار معلم خاص بالمنصة وفقًا للبيئة الحالية، تنقل UI-MOPD السلوكيات المحددة للمنصة إلى سياسة مشتركة عبر عملية تنقيح مشروطة بالمنصة، مما يمكّن من التكيف مع المنصات الجديدة دون فقدان القدرات الموجودة.

أثبتت التجارب التي أجريت على مجموعة بيانات OSWorld وMobileWorld أن UI-MOPD حقق معدلات نجاح مهام بلغت 38.2% و12.0% على التوالي، مما يبرز فعاليته في تحقيق توازن مثير بين الاحتفاظ بالقدرات عبر المنصات وتكييفه مع منصات جديدة. هذه الخط breakthroughs تعد خطوة كبيرة نحو تقديم وكلاء واجهات الاستخدام القادرين على العمل بكفاءة في بيئات متعددة. لمزيد من المعلومات، يمكنك زيارة الصفحة الرئيسية للمشروع.