في عالم اليوم، حيث تتزايد استخدامات الذكاء الاصطناعي (AI) في شتى المجالات، تصبح نماذج اللغات الضخمة (Large Language Models) أكثر أهمية في اتخاذ القرارات التجارية، خصوصاً في مجالات مثل حجز الفنادق. هنا يأتي دور PriceBench، المرجع الثوري الذي تم تطويره ليفحص تفضيلات السعر والجودة والعلامة التجارية لنماذج الذكاء الاصطناعي عند قيامها بعمليات الحجز.

PriceBench يعتمد على نموذج الخَيار اللوجستي لتحليل تفضيلات 28 نموذجاً من نماذج اللغات الضخمة من 8 مزودين، مستخدماً 3,600 مهمة حجز من 179 خاصية حقيقية في مدينة نيويورك. من خلال هذه الدراسة، توصل الباحثون إلى أن القدرات الخاصة بالنموذج تتعلق بكيفية اختيار النموذج وما إذا كان يتمسك بتفضيلات قوية.

وتظهر النتائج أن النماذج الأكثر قدرة تمتاز بتفضيلات أكثر اتساقاً، بينما النماذج الأضعف قد تختار بشكل عشوائي أو تتعلق بخيار واحد يمكن استغلاله من قبل من يتحكم في ترتيب القائمة.

تتفاوت حساسية الأسعار بشكل كبير بين هذه النماذج، حيث يمكن أن يتراوح سعر الحجز لليلة الواحدة على مهام متشابهة من 247 دولار إلى 393 دولار وفقًا للعوامل المختلفة. وعليه، يجب قياس ما يشتريه الوكيل من حيث النموذج مباشرة، وليس من خلال استنتاج عام.

مع إطلاق المهام والكود وكل مجموعة ردود، يقدم PriceBench أدوات قيمة للبحث في كيفية تأثير الذكاء الاصطناعي في قرارات الشراء.