في ظل الزيادة الملحوظة في استخدام كاميرات السيارات الذاتية (dashcam)، أصبح من الضروري تطوير أساليب فعالة لكشف الحوادث الحرجة مثل التصادمات. تعد هذه الأحداث نادرة وسريعة، مما يجعل من الصعب على نماذج الرؤية العامة التعامل معها. في هذا الصدد، نقدم لكم VLM-AutoDrive، إطار عملي تم تطويره لتحسين نماذج الرؤية-اللغة (Vision-Language Models) المُدربة مسبقًا فيما يخص كشف هذه الأحداث الحاسمة في القيادة الذاتية.

تستند VLM-AutoDrive إلى دمج عناوين وصفية مستخرجة من البيانات، ووصفيات مولدة بواسطة نماذج اللغة الكبيرة (Large Language Models)، بالإضافة إلى أسئلة وأجوبة تعتمد على الصور. باستخدام هذه الأساليب، يتمكن الإطار من تحقيق تعلم متوافق ومفهوم في سياقات القيادة.

أظهرت نتائج التجارب أن نماذج VLM التقليدية مثل نموذج NVIDIA Cosmos-Reason1 7B تعاني من ضعف شديد في قدرة كشف التصادمات، حيث سجلت استدعاءً قريبًا من الصفر عندما استخدمت في بيئات لا تعتمد على تدريب مسبق. ومع إدخال VLM-AutoDrive، تحسنت القيمة F1 للتصادم من 0.00 إلى 0.69، وارتفعت دقة الكشف الإجمالية من 35.35% إلى 77.27%.

تُظهر هذه التطورات المذهلة قدرة VLM-AutoDrive على تكييف نماذج الرؤية-اللغة العامة لمهام الإدراك الحرجة المتعلقة بالزمن، مما يعزز إجراءات الأمان في القيادة الذاتية. وأكدت التجارب المنفذة على مقاطع الفيديو الحقيقية من كاميرات Nexar أن النظام يحقق تحسينات ملحوظة في كشف التصادمات والقرب من التصادم، بينما ينتج مسارات تمييزية قابلة للتفسير تربط بين الإدراك والسبب والقرار في عالم القيادة الذاتية.

ما هي آرائكم حول تقنية VLM-AutoDrive؟ هل تعتقدون أنها ستغير قواعد اللعبة في مجالات القيادة الذاتية؟ شاركونا بالتعليقات!