في عالم الذكاء الاصطناعي، أصبح وكلاء التخطيط المحمول (Mobile Planning Agents) مثل مساعدك الشخصي المفضل، لكن تبرز الحاجة إلى تقييم قدراتهم بشكل دقيق. وهنا يأتي معيار **MobilePA-Bench**، الذي يمثل نقلة نوعية في هذا المجال.

تستخدم الأنظمة الحالية معايير تقييم تعتمد إما على واجهات المستخدم الرسومية (GUI) أو استدعاءات الوظائف الثابتة. ومع ذلك، فإن هذه المعايير تعاني من قصور، حيث تركز الأولى على التلاعب السطحي بالشاشة وتتجاهل استخدام الأدوات في الخلفية بينما تفتقر الثانية إلى التفاعل الحقيقي وتحاكي بيئات غير واقعية.

**MobilePA-Bench** يقدم حلاً مبتكرًا، فهو معيار تفاعلي يحافظ على حالة وكيل التخطيط، ويقيم قدرات استدعاء الأدوات والتخطيط. يعتمد على صندوق رمل قابل للتنفيذ يتضمن قواعد بيانات تطبيقات حية، مما يتيح إرجاع ملاحظات منظمة تغطي 13 مجالًا وظيفيًا و212 أداة موبايل واقعية.

يتجاوز معيار **MobilePA-Bench** الاستخدامات الأساسية للأدوات، مقياساً وكيل التخطيط وفقًا لثلاثة أبعاد متقدمة:
1. **التعاون بين الوكلاء الفرعيين**: تفكيك مهمة معقدة وتفويض العمل المتخصص إلى وكلاء فرعيين كفؤين.
2. **استخدام الذاكرة**: تذكر الذاكرات المخزنة وملفات المستخدم والتفضيلات القديمة لحل الطلبات الضمنية.
3. **استخدام المهارات**: استدعاء المهارات المركبة الجاهزة بدلاً من التخطيط لكل خطوة من الصفر.

تظهر التجارب واسعة النطاق أن النماذج اللغوية الكبيرة الحالية (Large Language Models) لا تزال غير موثوقة في سياقات المحمول، حيث تنخفض أداؤها بشكل حاد في ظل قيود ترتيب الأدوات، وحدود الأذونات، وأخطاء التشغيل غير المتوقعة.

من خلال الجمع بين صندوق رمل تفاعلي واستناد الأدلة، يعمل **MobilePA-Bench** كمعيار تشخيصي عملي وأساس تفاعلي لتعلم التعزيز الوكلي، مما يسرع من تطوير وكلاء موثوقين في الهواتف المحمولة. هذه الخطوة تمثل تقدمًا ملحوظًا في سعي صناعة الذكاء الاصطناعي لتحسين وتطوير نماذج أكثر فعالية في عالم الهواتف المحمولة.