تشهد واجهات المستخدم الرسومية (GUI) طفرة ملحوظة في أدائها، حيث أصبح بإمكان الوكلاء الذكيين أتمتة العديد من المهام الرقمية بفضل دمج تقنيات الرؤية الحاسوبية ونماذج اللغات الضخمة (Large Language Models). ولكن، لا تزال الأنظمة الحالية تواجه قيودًا هامة، حيث تعتمد بشكل أساسي على صنع القرار القائم على التجريب والخطأ، مما يعوق قدرتها على التعلم والتكيف مع التفاعلات.

البحث الذي نقدمه هنا يتناول إطار العمل الجديد المعروف باسم CogniGUI، والذي تم تصميمه للتغلب على هذه القيود من خلال تقديم التعلم التكيفي لأتمتة واجهات المستخدم بطريقة تشبه السلوك البشري. مستوحى من نظرية كاهنمان في العمليات المزدوجة، يتكون إطار عملنا من عنصرين رئيسيين:

1. **محرك المعالجة المتكامل**: يقوم بإجراء تحليل هرمي فوري لعناصر واجهة المستخدم عبر تحليل سيميائي بصري سريع لتحديد المكونات القابلة للتفاعل.

2. **وكيل أساسه نظام مكافأة نسبي** (Group based Relative Policy Optimization - GRPO): يقيم مسارات التفاعل المتعددة باستخدام نظام مكافآت نسبي فريد، مما يعزز الطرق التشغيلية القليلة والفعالة.

يسمح هذا التصميم القائم على النظام المزدوج بدورات mastering تعليمية استكشافية متكررة، مما يمكّن الوكيل من تحسين استراتيجياته مع مرور الوقت استنادًا إلى الخبرات المكتسبة.

بالإضافة إلى ذلك، نقدم Benchmark جديدة تُعرف باسم ScreenSeek، التي تتضمن مجموعة من التحديات مثل التنقل بين التطبيقات المتعددة، والانتقالات الديناميكية للحالات، والتناسق عبر الواجهات، وهي تحديات غالبًا ما يتم تجاهلها في المعايير الحالية.

تظهر النتائج التجريبية أن CogniGUI يتفوق على أحدث الأساليب في كل من معايير ربط واجهات المستخدم الحالية والبيانات الجديدة المقترحة، مما يشير إلى أهمية البحث المستمر في مجال الذكاء الاصطناعي. هل أنتم مستعدون لاستكشاف عوالم جديدة من الذكاء الاصطناعي؟