في عالم يتسم بالتطور السريع في تقنيات الذكاء الاصطناعي، يأتي إطار MM-ToolSandBox كإضافة عظيمة لتقييم الأداء لوكلاء أدوات الاتصال المرئي. يهدف هذا الإطار إلى تحسين الأداء من خلال تقديم بيئة تنفيذ-stateful تشتمل على أكثر من 500 أداة في 16 مجال تطبيقي مختلف.

يتميز MM-ToolSandBox بدعمه لمهام متعددة الصور ودورات المحادثات، حيث يجب على الوكلاء التفاعل مع سلسلة من المدخلات المرئية المتزايدة وتحويلها إلى استدعاءات أداتية قابلة للتنفيذ. يتضمن الإطار أيضًا خط أنابيب لتوليد السيناريوهات تلقائيًا، مما يسمح بإنشاء سيناريوهات متنوعة تستند إلى المعلومات وتخضع لعملية تصفية جودة متعددة المراحل.

تم تقييم 12 من أحدث النماذج، من تلك المفتوحة حتى الأنظمة الاحتكارية، لكن المفاجئ هو أن أفضل نموذج قد حقق معدل نجاح أقل من 50%! يكشف تحليل الإخفاقات أن المشكلة الأساسية تكمن في دقة الصور، حيث أن 53% من الإخفاقات ناتجة عن استخراج معلومات خاطئة من الصور على الرغم من صحة سير العمل في المهام.

تظهر الفجوة بين التخطيط والدقة مع زيادة حجم النموذج: تخفق النماذج الأصغر في معرفة ما يجب فعله، بينما تفشل النماذج الأكبر في إدراك ما تراه، مما يتطلب اتجاهات بحثية مختلفة لتحسين النماذج وفقًا لمستويات قدراتها. تحتوي هذه البحوث في النهاية على مقترحات لتحسين التواصل المرئي وكيفية استغلال الأدوات بشكل أفضل في التطورات المستقبلية.

يمكنك زيارة موقع المشروع للاطلاع على المزيد من التفاصيل من خلال الرابط هنا.