في عالم الأعمال المتجدد، يُعتبر الابتكار هو العنصر الأهم لتحقيق النجاح. ومع ظهور الأنظمة الوكيلة المدعومة بنماذج اللغات الكبيرة (LLMs)، تم فتح آفاق جديدة لتوليد الأفكار. ومع ذلك، يعاني الكثير من الأساليب الحالية من قصور يقتصر على النص فقط، في حين أن الواقع يتطلب مقاربة متعددة الوسائط.

لذلك، نقدم لكم MBA-Bench، المعيار المتعدد الوسائط الأول لتدريب وتقييم الوكلاء المبتكرين في مجال الأعمال. هذا النظام يتضمن 30,000 عينة موزعة على ستة مجالات مختلفة، كل منها يتميز بسمات بصرية فريدة لا يُمكن التعبير عنها عبر النص فقط.

يعمل MBA-Bench على توليد وصف تلقائي للصور ويستخدم نموذج GPT-4o لتوليد خمسة أفكار مرجعية لكل من ثلاثة أسئلة تجارية من خلال إنشاء استعلامات الاسترجاع، واسترجاع الأدلة، وتجميع الأدلة. ويتم تقييم الوكلاء عبر ستة معايير تجارية باستخدام نموذج MLLM-as-a-Judge.

لضمان تقييم عادل، قدمنا MBA-b وMBA-k لتقييمات مغلقة ومعروفة، على التوالي، حيث يتم تدريب كلاهما باستخدام أهداف مكافأة جديدة - الإبداع والجدوى. علاوة على ذلك، يُحسن MBA-k المعايير الستة المُعلنة إلى ثمانية معايير إجمالاً.

لقد أجرينا تجارب موسعة على MBA-Bench، حيث تم إعداد اثنين من المعايير الأساسية - إما باستخدام الشرحات فقط أو المدخلات متعددة الوسائط، حيث اقترب الأداء من الحلول المغلقة في عدة مؤشرات. وبدورها، تفوقت MBA-b وMBA-k على الأسس النصية بنسبة 63.9% و77.1%، كما تجاوزت الأسس متعددة الوسائط بنسبة 25.6% و35.8% على التوالي.

استعدوا لعصر جديد من الابتكار التجاري الذي يعتمد على الفهم واسع النطاق للبيانات من خلال MBA-Bench. كيف تعتقد أن هذه التقنية ستغير طريقة تفكير الشركات في إضافة قيمة جديدة؟ شاركونا آرائكم في التعليقات.