في عالم الذكاء الاصطناعي، أصبحت قدرات واجهات المستخدم الرسومية (GUI) أمرًا لا غنى عنه لوكلاء الذكاء الاصطناعي. تاريخيًا، كانت النماذج تخزن معلماتها بعد النشر، مما يحد من قدرتها على التكيف مع الواجهات غير المشاهَدة. ومع ذلك، يشهد المجال تحولاً مثيراً من خلال تقديم إطار عمل جديد يُدعى "تكييف ذاتي في وقت الاختبار" (Test-Time Self-Evolving).

يهدف هذا الإطار المبتكر إلى تمكين النماذج من تحسين أدائها بعد النشر بدون الحاجة إلى بيانات مدعومة (ground truth) يدويًا. يعتمد الإطار على طريقة مغلقة تضم أربعة محاور أساسية: الاستكشاف، التقييم، التأمل، والداخلية (Exploration, Evaluation, Reflection, و Internalization).

كيف يعمل هذا الإطار؟ في البداية، يقوم العميل باكتشاف واجهات غير مرئية من خلال توقع الإحداثيات التي تُرسي التفاعلات. لتقييم تلك الاستكشافات، تم تقديم "المرآة المعتمدة على نماذج اللغات الضخمة" (MLLM-based Reflector) لتقويم النتائج المستخلصة وتقديم التأملات المنطقية المقابلة.

ومع نقل هذه المعرفة التأملية إلى أوزان النموذج، أُدخل مفهوم "الاستنساخ الذاتي الموجه بالتأمل" (Reflection-Guided On-Policy Self-Distillation)، الذي ينقل التفكير عالي المستوى إلى إشراف كثيف على مستوى الرموز من خلال معلم ذاتي مشروط.

علاوة على ذلك، تم تصميم طريقة "التصحيح التبايني" (Contrastive Calibration) لمنع الأخطاء في التوجيه التلقائي من التأثير على إشارات الإشراف خلال الاستكشافات الفاشلة.

تشير التجارب الواسعة عبر ستة معايير إلى فعالية إطار العمل الجديد، حيث حقق زيادة بنسبة 7.4٪ في دقة الأداء مقارنة بالنموذج الأساسي. يُعتبر هذا العمل هو الأول من نوعه الذي يستغل تقنيات الاستنساخ الذاتي في وقت الاختبار للتكيف في توفر واجهات المستخدم الرسومية.

من المثير أن نرى كيف يُكمل هذا الإطار قدرة الوكلاء الذكيين على التطور الذاتي بعد النشر. سيتم إصدار الكود قريبًا.