في عالم النقل الذي يتطلب دقة وسلامة عالية، يظهر معيار TRIP-Evaluate كمحطة جديدة وضرورية. هذا المعيار المفتوح يهدف إلى تقييم نماذج اللغة الكبيرة (LLMs) والنماذج متعددة الوسائط (MLLMs) التي تُستخدم في مجالات متعددة، مثل الإجابة على أسئلة تنظيمية، دعم إدارة المرور، والمراجعة الهندسية. تعتبر العمليات في هذا القطاع معقدة للغاية، حيث تتضمن قواعد صارمة وأحمال حسابية ثقيلة.

تحتوي قاعدة بيانات TRIP-Evaluate على 837 عنصراً، مصنفة وفقاً لتصنيف يلخص الأدوار، المهام، والمعرفة في مجالات مختلفة مثل السيارات، إدارة الحركة، والتخطيط. كل عنصر يتم التعليق عليه بعلامات تحدد المستوى، المجال، والصعوبة، مما يسمح بإجراء تشخيص دقيق لأداء النماذج.

الإصدار الحالي يتضمن 596 عنصراً نصياً، 198 عنصراً صورياً، و43 عنصر نقطة سحابية، مما يوفر طيفاً واسعاً من البيانات لتقييم أداء النماذج مقارنةً ببعضها البعض. وعلى الرغم من التحسينات في الأداء النصي، إلا أن هناك نقاط ضعف ملحوظة في الحسابات الهندسية المتعددة الخطوات، والتفكير القائم على القواعد، وفهم المشاهد متعددة الوسائط.

بفضل TRIP-Evaluate، يمكن لمطوري نماذج الذكاء الاصطناعي في مجال النقل تحسين أمان تطبيقاتهم واختيار النماذج الأكثر ملاءمة، مما يعتبر انجازاً مهماً لزيادة فعالية هذه التقنيات في تحقيق النقل الآمن والفعال.