تم الإعلان عن DeskForge، وهو مشروع مبتكر يسعى إلى تحسين الطريقة التي تتفاعل بها وكالات الكمبيوتر مع بيئات العمل المكتبية. وذلك في ظل تحديات مشهد الكمبيوتر المعقد، حيث تتنافس التطبيقات والنوافذ المتداخلة والعناصر البصرية المتشابهة على جذب الانتباه.

بالرغم من أن البيانات التدريبية الحالية نادراً ما تربط مثل هذه المشاهد مع أنnotations الكثيفة، يوفر DeskForge بيئة مكتبية قابلة للتحكم يتم من خلالها تكوين واستكشاف تطبيقات حقيقية. تقدم DeskForge تباينات في حالات التطبيقات، المحتوى، تخطيط النوافذ، الظهور، والدقة، وتجمع لقطات الشاشة، والأشجار القابلة للوصول، وهندسة النوافذ في annotations كثيفة للعناصر.

تحتوي مجموعة البيانات الناتجة، DeskForge-1M، على 1.2 مليون ملاحظة مكتبية مُ annotate، تضم ما يقارب 159.7 مليون مثيل عنصر. تم تحسين أربعة نماذج للغة والرؤية على 200,000 مثال من بيئة DeskForge-1M، حيث أظهرت جميع النماذج الأربعة تحسناً عند اختبارها تحت ظروف مكتبية مختلفة وعلى خمسة معايير خارجية لتأسيس واجهات المستخدم.

من ضمن النتائج المذهلة، تم تعزيز دقة نموذج Qwen3.5-4B بنسبة 11.51 نقطة مئوية على معيار ScreenSpot-Pro و10.11 نقطة على معيار OSWorld-G. كما ترجم هذا التحسن إلى إنجاز مهام طويلة الأمد، حيث استطاع نموذج Qwen3.5-4B إتمام 50 من 119 مهمة في WebArena-Infinity و15 من 100 مهمة في OpenApps.

تظهر هذه النتائج أن تكوين بيئات مكتبية حقيقية بشكل قابل للتحكم يمثل مصدراً قابلاً للتطوير للإشراف لتحسين كل من تأسيس واجهات المستخدم وأداء وكالات الكمبيوتر في المهام الطويلة الأمد. الكود الخاص بالإطار، ومجموعة البيانات، والنموذج المحسن متاحة عبر صفحة المشروع على الإنترنت: https://saidgurbuz.github.io/deskforge/. هل تعتقد أن DeskForge ستحسن كيفية تفاعل وكالات الكمبيوتر مع بيئات العمل المكتبية؟ شاركونا آرائكم في التعليقات!