في عصر التكنولوجيا الحديثة، أصبح التنقل الصوتي البصري (Audio-Visual Navigation - AVN) أحد المجالات الحيوية التي تتطلب من الأجهزة الذكية التنقل بسلاسة نحو أهداف محددة فقط من خلال الاعتماد على الملاحظات البصرية والإشارات الصوتية. ومع تقدم الأبحاث، يواجه المطورون تحديات كبيرة تتعلق بالقدرة على الاصطفاف وإعادة التخطيط عندما يتعرض النظام لمعلومات بصرية غير كاملة أو مضللة.

تقديمنا اليوم هو عن نموذج ثوري يحمل اسم "Transformer-based Token Fusion and Dynamic Graph Planning" (TDGP)، والذي تم تصميمه للتغلب على هذه التحديات. هذا النموذج المتقدم يقدم طبقات إدراكية عالية المستوى ويستفيد من نموذج Transformer لدمج الإشارات المتعددة في تخطيط محلي دقيق.

إحدى الجوانب البارزة في نموذج TDGP هي طبقة التخطيط منخفضة المستوى، والذي يُفعل عقوبات تصادم فعلية لإزالة الحواف المتصادمة مع الخريطة في الوقت الحقيقي، مما يجبر الجهاز على إعادة التخطيط تلقائيًا لتعويض نقص المعلومات البصرية.

تظهر النتائج التجريبية أن نموذج TDGP يتفوق على النماذج التقليدية في مجموعتي بيانات Replica وMatterport3D (MP3D). بالإضافة إلى ذلك، فإن استراتيجيات تعزيز الصوت التي يستخدمها النموذج تعزز من قدرته على التكيف في السيناريوهات الصوتية الجديدة.

إن استخدام التقنيات المتقدمة مثل نموذج Transformer في مشاريع التنقل الصوتي البصري يُشير إلى تحول جديد في طريقة عمل الآلات الذكية في بيئات متعددة.