تواصل التقنيات المتقدمة في النماذج اللغوية الكبرى (Large Language Models) إحداث ثورة في عالم القيادة الذاتية. حيث تمثل الدراسة الجديدة بعنوان D3VL خطوةً بارزة نحو استخدام بيانات السلاسل الزمنية الثلاثية الأبعاد لفهم مشاهد القيادة، مما يفتح آفاقًا جديدة أمام الباحثين والمطورين في هذا المجال.

حتى الآن، كانت معظم النماذج اللغوية متعددة الوسائط (Multimodal Large Language Models) تُركز على الصور والفيديوهات ثنائية الأبعاد، لكن التجربة الحديثة تنقلنا إلى مستوى جديد يستخدم مستشعرات ثلاثية الأبعاد مثل LiDAR والكاميرات الستيريو. هذا التحول يأتي مع تحديات كبيرة، بما في ذلك ندرة البيانات وصعوبة دمج بيانات الكاميرات مع LiDAR في خط أنابيب واحد، لكن نتائج البحث تظهر أن هذه الطريقة تساهم في تحسين الأداء بشكل ملحوظ.

يهدف نموذج D3VL إلى معالجة الأسئلة المتعلقة بفهم مشاهد المرور وسلامة القيادة، حيث أظهر تحسينًا بنسبة 11% عند مقارنة أدائه بأساليب أخرى في معالجة بيانات السلاسل الزمنية من خلال مجموعة بيانات KITTI.Question-Answering. وهي خطوة متميزة تعكس الفعالية العالية لاستخدام بيانات الزمن الثلاثي الأبعاد في أنظمة الذكاء الاصطناعي.

كما أضاف البحث مجموعة بيانات Waymo QA، والتي تقيم قدرة النماذج على معالجة البيانات الثلاثية الأبعاد تحت ظروف قيادة متنوعة. يمكنك العثور على رمز تنفيذ نموذج D3VL بالإضافة إلى امتداد WaymoQA على الموقع الإلكتروني المصاحب لهذا البحث: https://automotivesafety-lvlm.github.io.

ما رأيكم في هذا التطور الجديد في مجال القيادة الذاتية؟ شاركونا في التعليقات!