لقد أصبح تشغيل الأعمال التجارية من أكثر التحديات تعقيدًا في عصر الذكاء الاصطناعي، حيث يتعين على المشغلين التكيف مع ظروف السوق المتغيرة واكتشاف الفرص من خلال إشارات جزئية. ورغم أن وكيل LLM (نماذج اللغات الضخمة) قادر على إتمام عمليات تجارية معقدة، إلا أن قدراته في تقييم الأبعاد التجارية نادرًا ما تم تقييمها بدقة.

لذلك، تم تقديم ميدان الأعمال كبيئة محكمة حيث يتمكن وكيل الذكاء الاصطناعي من إدارة متجر عبر الحدود. يعتمد هذا الميدان على بيانات من Alibaba.com وظروف سوقية مثبتة من مصادر موثوقة. وبفضل التحديات مثل التأخير في النتائج وترابط التأثيرات، يصبح من الصعب تقييم القرارات التجارية الفردية، ولكن النتائج الإجمالية يمكن قياسها من خلال الربح.

فقط التركيز على الربح لا يوضح دائما سبب نجاح الوكيل أو فشله؛ لذلك تم مقارنة وكيل الذكاء الاصطناعي باستراتيجيات صممتها البشر لتقدير الفرص المتاحة. من خلال تحليل مستويات المهارة، تم الكشف عن نقاط القوة والضعف الكامنة، وتم تتبع الأرباح والخسائر إلى القرارات التي أدت إليها.

استخدمت الدراسة أيضًا أساليب للتحقق من أن النتائج القوية تعكس بمصداقية ذكاء الأعمال بدلاً من الإهمال أو الطرق المخصصة للمحاكيات. تم تقييم 15 نموذجًا طليعيًا، مما أظهر اختلافًا وصل إلى تسع مرات في صافي الثروة النهائية. وحتى أفضل نموذج لم يستطع مجاراة الاستراتيجيات التي صممها البشر، مما يدل على أن العمليات التجارية لا تزال تمثل تحديًا لعملاء LLM.

تكشف التحليلات المتعمقة عن أنماط التشغيل، من بائعين متميزين يركزون على الهوامش إلى تجار جملة بزيادة دورات البيع وأخصائيي خدمة العملاء، في حين يحدد تحليل القرارات مستويات الشراء والتسعير واستعادة القيم.

بهذا، يعتبر ميدان الأعمال خطوة أولى نحو اختبار موثوق وواقعي لتقييم وكلاء الأعمال من الألف إلى الياء.