تعتبر القدرة على الرؤية تحت الماء تحديًا كبيرًا يتطلب أنظمة استشعار متكاملة في ضوء الظروف المتغيرة للرؤية. حيث تلتقط الكاميرات البصرية المظهر والمعاني، إلا أنها تتدهور سريعًا مع زيادة العكارة، بينما تحافظ مجسات السونار على الهيكل الهندسي، ولكنها تتضمن بعض الآثار الصوتية. ولذا، فإن النماذج اللغوية متعددة الوسائط الحالية التي تعتمد بشكل أساسي على مشفرات الكاميرا البصرية، غير مؤهلة لتمثيل السونار أو الاستفادة منه بشكل تكيّفي.

هنا يأتي دور SonarLLM، نموذج لغوي جديد يجمع بين تقنيات السونار والبصريات بطريقة مبتكرة. هذا النموذج يعدّ السونار كنوع حسي أساسي، ويعتمد على مشفر مخصص للسونار، وتعزيز خصائص معروفة بالفيزياء، ودمج هرمي مدرك للموثوقية. يسمح هذا التركيب بتوفيق الهيكل الصوتي مع المعنى البصري، وتعديل مساهماتها ديناميكيًا حسب جودة الاستشعار.

كما قمنا بتقديم SonarBench، معيار مقارن يشمل أربعة مهام: التعرف، العد، الإجابة على الأسئلة المرئية، والتعليق. يتيح SonarBench قياس تكامل البيانات عبر إعدادات إدخال مختلفة: سونار فقط، بصري فقط، ودمج بينهما. من خلال الحفاظ على المشهد وملاحظة السونار مع تعديل تدهور الكاميرا البصرية، يمكن قياس التكامل بين الوسائط بشكل دقيق.

حقق SonarLLM دقة تصل إلى 72.0% في مهام التعرف، العد، والإجابة على الأسئلة، متفوقًا على أفضل نموذج قياسي بنسبة 34.4 نقطة. وعند الدمج، حقق دقة بلغت 68.7%، متجاوزًا النموذج القياسي الأفضل بـ 25.1 نقطة. عند زيادة العكارة، يتعزز ربح الدمج على حساب البصريات من 6.0 إلى 36.0 نقطة، مما يشير إلى أن القيمة التكميلية للسونار تزداد تحت الظروف البصرية المحدودة.

لتلخيص، تقدم نتائج SonarLLM دليلًا على أن القدرة على الإدراك المتنوع لا تعود فقط إلى إضافة السونار، بل تعتمد أيضًا على كيفية تمثيله ووزنه وفقًا لخصائص استشعاره.

ما رأيكم في هذا التطور المثير في عالم الذكاء الاصطناعي؟ شاركونا بأفكاركم في التعليقات!