تُعد قدرة نماذج اللغات الضخمة (Large Language Models) على تفسير وتخصيص الإجابات وفقاً لاحتياجات المستخدمين من أهم جوانب تطوير هذه التكنولوجيا. ومع ذلك، تواجه هذه النماذج تحديات جسيمة عندما يتعلق الأمر بالتعامل مع استفسارات غير محددة من قبل المستخدمين، حيث تحتاج إلى استنتاج النوايا الكامنة واستخراج التفضيلات من سجلات التفاعل الضبابية.

تحت هذا السياق، تم إطلاق APeB، وهو اختبار قياسي جديد يركز على تخصيص المنتجات (Personalized Product Search - PPS) تحت ظروف استفسارات غير محددة وتواريخ تفاعلية متنوعة. يهدف هذا الاختبار إلى تقييم أداء نماذج اللغات الضخمة في مواجهة التحديات الحقيقية التي يواجهها المستخدمون عند البحث عن المنتجات.

تتضمن طريقة العمل الجديدة، التي تمت تسميتها بـ "مقياس تخصيص الوكيل" (Agent Personalized Benchmark - APeB)، تجميع سجلات العمل، حيث يتم ربط النوايا غير المحددة بسجلات غنية من التفاعلات السابقة والأشياء التي شاهدها المستخدم.

النتائج أظهرت أن النماذج الحديثة تتعامل بشكل جيد مع الاستفسارات الواضحة، لكنها تعاني في المراحل المبكرة التي تتطلب اكتشاف النوايا والتفضيلات. ووجدت التحليلات أن هذا الفجوة ترجع بشكل أساسي إلى سوء استخدام تاريخ التفاعل.

ولتعزيز الأداء، تم تقديم نظام بسيط لتعديل الاستفسارات يعتمد على التاريخ، يُدعى VQRA، والذي يُظهر تحسينات متسقة ويبرز الحاجة إلى وحدات مخصصة لاستخدام التاريخ في وكلاء التخصيص. في النهاية، تُشكل APeB خطوة مهمة في تقييم وتحسين أداء الذكاء الاصطناعي في تقديم خدمات مخصصة.