تعتبر تكنولوجيا الطائرات بدون طيار (UAV) من المجالات الرائدة في استخدام الذكاء الاصطناعي لفهم وتصوير الأنشطة المختلفة من الأعلى. ولكن ماذا يحدث عندما يتعلق الأمر بالأهداف الصغيرة في مشاهد معقدة؟ هنا يظهر مفهوم perception الموجه باللغة، الذي يسعى لفهم الأهداف الدقيقة المحددة من قبل المستخدم في تلك المشاهد.
في عمليات نشر الطائرات بدون طيار، تتطلب التفاعلات استجابة سريعة حيث تُعالج المعلومات بشكل متتابع. إلا أن الاعتماد على نماذج اللغات متعددة الوسائط (Multimodal Large Language Models - MLLMs) يطرح تحديات عديدة. التحدي الأول هو أن الأهداف الصغيرة غالبًا ما تفقد تفاصيلها في المعالجة المرئية الحالية، حيث يتم التعامل مع جميع المناطق بشكل متساوي. أما التحدي الثاني، فهو الحاجة إلى فهم التسلسل الزمني للمشاهد، مما يتطلب حفظ السياق من الإطارات السابقة، الأمر الذي يصبح مستحيلاً في الأجهزة ذات الموارد المحدودة.
لحل هذه المشكلات، يقدم الباحثون قاعدة بيانات جديدة تسمى **DroneEyes**، وهي أول مجموعة بيانات تشير إلى الأهداف الطائرة الصغيرة بمستوى البكسل، وتتضمن 2,140 فيديو عالي الدقة و 176,623 زوج من المهام المختلفة.
كما تم تقديم نموذج **SkyAnchor**، الذي يتضمن تقنيتين مبتكرتين:
1. **Semantics-Aware Token Router**، الذي يساعد في الحفاظ على تفاصيل الأهداف الصغيرة ضمن ميزانية رمزية مرئية محدودة.
2. **Hierarchical Memory Bank**، الذي يضمن فهم الأهداف بشكل مستمر أثناء تدفق المعلومات.
بهذه التطورات، يبدو أن الذكاء الاصطناعي في مجال الطائرات بدون طيار يدخل مرحلة جديدة تمامًا. ما رأيكم في هذا الابتكار؟ شاركونا بالتعليقات حول كيف يمكن أن تؤثر هذه التكنولوجيا على العالم من حولنا.
تكنولوجيا جديدة: نماذج لغوية متعددة الوسائط لتعزيز فهم الأهداف الصغيرة في مقاطع الفيديو الجوية!
توصل الباحثون إلى نموذج ثوري يهدف لفهم الأهداف الصغيرة في مشاهد الطائرات بدون طيار باستخدام بيانات بصرية جديدة، ما يمثل طفرة في تحليل البيانات الهوائية. تعرفوا على الأساليب الجديدة التي تعزز قدرات الذكاء الاصطناعي في هذا المجال الحيوي.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
