في الفترة الأخيرة، شهد الذكاء الاصطناعي تقدمًا كبيرًا، لكن كفاءة نماذج اللغات الضخمة (Large Language Models) في اتخاذ قرارات طويلة الأمد ما زالت موضع تساؤل.

لذا، تم تقديم RetailBench، وهو معيار مبتكر يهدف إلى تقييم أداء هذه النماذج في سياق إدارة المتاجر. يعتمد RetailBench على سيناريوهات محاكاة تعتمد على البيانات التي تمثل مسار عمل السوق واحتياجات العملاء في واقع متغير.

يتطلب هذا المعيار من الوكلاء الذكاء الاصطناعي التعامل مع مجموعة معقدة من المهام، مثل إدارة الأسعار وتوريد المنتجات واختيار الموردين وكذلك التعامل مع ملاحظات العملاء. يتم اختبار أداء سبعة نماذج حديثة من LLMs على مدى 180 يومًا، حيث يقارن أداؤها بسياسة مثالية يتم اعتمادها كمرجع.

أظهرت التحليلات تفاوتًا ملحوظًا في أداء النماذج، حيث لم تتمكن إلا مجموعة صغيرة منها من الاستمرار على مدار الفحص الكامل، حتى أن أقوى LLM كانت نتائجها النهائية أقل بكثير من السياسة المثالية. هذا يعكس التحديات الكبيرة التي تواجه هذه النماذج في تركيب القرار المستدام لمسافات طويلة، إذ يعتمد نجاحها على القدرة في جمع الأدلة بشكل كامل واتخاذ قرارات عميقة بعيدة المدى.

RetailBench يسهم في توفير بيئة دقيقة لدراسة الاستقلالية والاعتماد في صنع القرارات الاقتصادية على مدى طويلة، مما يمهد الطريق لفهم أعمق لأداء الذكاء الاصطناعي في مجالات متنامية مثل البيع بالتجزئة.