في عالم التجارة الإلكترونية سريع التطور، يمثّل الذكاء الاصطناعي تحولًا كبيرًا في كيفية إدارة الأعمال. وقد أُطلق مؤخرًا مشروع MerchantBench الذي يهدف إلى تقييم وكيل اللغة الكبيرة (LLM) كأداة مستقلة في بيئة تجارية موصلة بالواقع.

تسعى معظم تقييمات الذكاء الاصطناعي إلى قياس أداء الوكلاء في مهام محدودة، حيث تكون معايير النجاح فورية. ولكن في عالم التجارة الحقيقي، تتطلب الأمور الحفاظ على سلوك هادف عبر فترات زمنية موسعة مع التكيف وفقًا للأدلة المتراكمة. هذا هو المكان الذي تدخل فيه MerchantBench.

MerchantBench هو نظام محاكاة يعمل على مستوى الطلب، حيث يستند إلى بيانات حقيقية من 98,843 منتجًا في التجارة الإلكترونية ويتيح 26 أداة لتفاعل الوكلاء. يتميز هذا النظام بمحاكاة الأمور التي تتطلب اتخاذ قرارات متعددة الأبعاد تشمل إدارة المنتجات، والتحكم في التسعير، وإدارة التدفقات النقدية، وتكيف التغذية الراجعة.

تجمع تلك المحاكاة بين أحداث المورد المبكرة وأثر الطلبات المتأخر، مما يجبر الوكلاء على متابعة دورات حياة الطلبات الفردية وإعادة النظر في قرارات سابقة. وقد تم تقييم ثمانية نماذج لغة كبيرة ضمن إطارين لوكلاء مختلفين عبر 48 تشغيلًا، كل منها يغطي 365 يومًا مُحاكاة.

النتائج كانت مثيرة للاهتمام؛ فقد أسفرت التجارب عن فجوة ملحوظة بين أداء النماذج الأحدث وأداء المشاركين البشريين، حيث حققت أفضل تكوينات LLM فقط 27.3% من متوسط صافي الأصول النهائية التي حققها المشاركون البشر.

يمثل هذا التحليل خطوة جديدة في فهم قيود الذكاء الاصطناعي وقدراته في مجال التجارة الإلكترونية، مما يفتح المجال لنقاشات مثيرة حول مستقبل هذه التقنيات. هل سينجح الذكاء الاصطناعي في تجاوز الفجوة مع البشر؟ هذا ما سنكتشفه في المستقبل القريب.