في عالم الذكاء الاصطناعي المتطور، غالبًا ما تركز نماذج اللغات الضخمة (Large Language Models) على قياس مدى دقتها في تلبية الطلبات الصريحة. ولكن ماذا عن قدرتها على استنباط الاحتياجات غير المعلنة للمستخدمين؟ هنا، يأتي دور ProactBench، المعيار الجديد الذي يكشف النقاب عن قدرات المحادثة التفاعلية (Conversational Proactivity).

تقسم ProactBench هذه القدرة إلى ثلاثة أنواع رئيسية، تتعلق بكل مرحلة من مراحل المحادثة:
1. **Emergent**: يعتمد هذا النوع على استنتاج المعلومات من نقطة مرجعية واحدة تم الإفصاح عنها.
2. **Critical**: يتمثل هذا النوع في دمج المعلومات المستخلصة من نقاط مرجعية متعددة.
3. **Recovery**: يتعلق بكيفية تحقيق قيمة للمستخدم بعد الانتهاء من المهمة، مع التركيز على التوقعات المستقبلية.

لضمان فعالية هذا المعيار، تم تنفيذه مع ثلاثة وكلاء: مخطط (Planner)، وكيل المستخدم (User Agent)، ونموذج مساعد (Assistant Model). هذه التعددية تساعد في مواجهة التحديات المتعلقة بالمعلومات المتضاربة وتقييم الأداء غير الدقيق.

تشمل المجموعة المفرج عنها 198 حوارًا منسقًا مع 624 نقطة تحفيزية عبر 24 أسلوبًا تواصليًا، تم استبعادها من خلال جهاز LLM مستقل. تشير النتائج عبر 16 نموذجًا مختلفًا إلى أن قياس **Recovery** يظل صعبًا وغير متوقع من قبل ستة معايير قياسية، مما يجعله إشارة تقييم جديدة وفريدة.

تعتبر ProactBench خطوة جريئة في عالم نماذج الذكاء الاصطناعي، حيث تقدم نموذجًا تقييمًا أكثر شمولًا للجوانب التفاعلية في قدرات النماذج. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.